[論文レビュー] An Empirical Analysis of the Impact of Data Augmentation on Knowledge Distillation

Deepan Das, Haley Massa+2 more|arXiv (Cornell University)|Jun 6, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用数 13

ひとこと要約

本論文は、特にミックスドサンプル手法（例：MixUp や CutMix）を用いたデータ拡張戦略が知識蒸留に与える影響を調査する。これらの手法は教師モデルの汎化性能を向上させるが、その一方で、新たなクラス判別指標と潜在空間表現の分析を通じて示されるように、監視信号を歪めることで生徒モデルの性能を損なうことが判明した。

ABSTRACT

Generalization Performance of Deep Learning models trained using Empirical Risk Minimization can be improved significantly by using Data Augmentation strategies such as simple transformations, or using Mixed Samples. We attempt to empirically analyze the impact of such strategies on the transfer of generalization between teacher and student models in a distillation setup. We observe that if a teacher is trained using any of the mixed sample augmentation strategies, such as MixUp or CutMix, the student model distilled from it is impaired in its generalization capabilities. We hypothesize that such strategies limit a model's capability to learn example-specific features, leading to a loss in quality of the supervision signal during distillation. We present a novel Class-Discrimination metric to quantitatively measure this dichotomy in performance and link it to the discriminative capacity induced by the different strategies on a network's latent space.

研究の動機と目的

• データ拡張が知識蒸留に与える影響、特に MixUp や CutMix などのミックスドサンプル戦略の影響を調査すること。
• このような拡張手法を用いる際、教師の汎化性能の向上が生徒モデルに効果的に伝わらない理由を理解すること。
• ミックスドサンプル拡張技術に内在する暗黙のバイアスが引き起こす蒸留品質の低下を定量化すること。
• 異なる拡張戦略が誘発する潜在表現の判別能力を測定する新しい指標「Class-Discrimination」を提案すること。
• 教師の汎化性能と生徒モデルへの効果的知識伝達の間のトレードオフを評価すること。

提案手法

• 標準的な変換、CutOut、MixUp、CutMix の4つのデータ拡張戦略を用いて、ResNet-18 の教師モデルを訓練した。
• 教師モデルから得られるソフトラベルを用いて、知識蒸留を適用し、より小さな生徒モデルを訓練した。
• 潜在表現の質とその蒸留への影響を定量化するため、新しい「Class-Discrimination」指標を提案した。
• 誤分類マトリクスと KL 収束分析を用いて、モデル予測確率分布と人間が推定した信頼度分布を比較した。
• 教師および生徒モデル全体で期待カリブレーション誤差（ECE）と信頼性図を用いてモデルのカリブレーションを測定した。
• マスクド誤分類マトリクスを用いて潜在空間を分析し、クラス間の判別能力と汎化能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 MixUp や CutMix などのミックスドサンプルデータ拡張手法は、知識蒸留における生徒モデルの汎化性能にどのように影響を与えるか？
• RQ2 教師モデルが拡張処理を経た後、その監視信号が生徒ネットワークへの蒸留過程でどの程度劣化するか？
• RQ3 Class-Discrimination 指標で測定した潜在空間の判別能力は、異なる拡張戦略によってどのように変化するか？
• RQ4 教師モデルにおけるデータ拡張の選択とモデルのカリブレーションの関係は何か？
• RQ5 確率分布におけるクラス間関係の歪みが、蒸留された生徒モデルの性能低下を説明できるか？

主な発見

• MixUp や CutMix などのミックスドサンプル拡張戦略は、教師モデルの性能向上に寄与するが、生徒モデルの汎化性能を顕著に損なう。
• Class-Discrimination 指標の分析により、CutMix および MixUp は潜在表現の判別能力を低下させ、効果的な知識伝達を制限することが判明した。
• 誤分類マトリクスの分析から、CutMix で訓練されたモデルは、ベースラインと比較して非対角成分が明るく、より分散していることが示され、クラス間の汎化性能が劣っていることが明らかになった。
• KL 収束分析により、CutMix モデルの予測確率分布は、ベースラインモデルと比較して人間が推定した信頼度分布からより大きく乖離していることが確認された。
• 期待カリブレーション誤差（ECE）の結果から、内挿的技法（例：MixUp）はより良好なカリブレーションを達成するが、これは生徒モデルの性能向上と相関しないことが分かった。
• 本研究では、教師モデルのカリブレーションと生徒モデルの汎化性能の間に直接的な相関関係は見られず、カリブレーションそのものが効果的な蒸留を保証するわけではないことが示された。