[論文レビュー] Circumventing Outliers of AutoAugment with Knowledge Distillation

Longhui Wei, An Xiao+4 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Neural Network Applications参考文献 59被引用数 8

ひとこと要約

本論文は、攻撃的データオーグメンテーションによって引き起こされる訓練の不安定性を軽減するため、知識蒸留をAutoAugmentと統合する手法を提案する。これは、特徴の識別性を損なう可能性があり、ラベルの曖昧さを生じさせることがある。教師モデルがソフト化されたラベルを提供することで、訓練が安定化され、追加データを用いずImageNetで85.8%の新しいSOTAトップ1精度を達成する。

ABSTRACT

AutoAugment has been a powerful algorithm that improves the accuracy of many vision tasks, yet it is sensitive to the operator space as well as hyper-parameters, and an improper setting may degenerate network optimization. This paper delves deep into the working mechanism, and reveals that AutoAugment may remove part of discriminative information from the training image and so insisting on the ground-truth label is no longer the best option. To relieve the inaccuracy of supervision, we make use of knowledge distillation that refers to the output of a teacher model to guide network training. Experiments are performed in standard image classification benchmarks, and demonstrate the effectiveness of our approach in suppressing noise of data augmentation and stabilizing training. Upon the cooperation of knowledge distillation and AutoAugment, we claim the new state-of-the-art on ImageNet classification with a top-1 accuracy of 85.8%.

研究の動機と目的

• 攻撃的データオーグメンテーションによって生じる識別的特徴の消失やラベルの曖昧さにより、AutoAugmentにおける訓練の不安定性と性能低下を是正すること。
• データオーグメンテーションに起因するノイズにより、真のラベルが信頼できなくなる状況において、知識蒸留が頑健な監督信号として機能するかを調査すること。
• 特に高容量ネットワークにおいて、極端なデータオーグメンテーション方針下での視覚モデルの一般化性能と耐性を向上させること。
• 追加の弱教師付きまたは無教師データを一切用いず、ImageNetで最先端の性能を達成すること。

提案手法

• 本手法は、事前学習済みの教師モデルを用いて、拡張された画像のためのソフト化された確率分布を生成し、それを真のラベルと併せて学生ネットワークの学習をガイドする。
• 知識蒸留損失は、教師モデルと学生モデルの上位Kクラス確率間のKLダイバージェンスによって計算され、拡張の強度が高くなるに従いKを増加させる。
• 蒸留損失はハイパーパrameter λ によって重み付けされ、強度の高い拡張に対しては教師の指導を強調するように設定される。
• 学生モデルは、真のラベルに対する交差エントロピー損失と、教師が提供するソフトラベルに対するKLダイバージェンス損失の両方を組み合わせた損失関数で訓練される。
• 本手法は、AutoAugmentおよびRandAugmentの探索空間に適用可能であり、異なるモデルスケールにおいて一貫した向上効果を示す。
• 大規模モデル（例：EfficientNet-B8）では、GPUメモリ制限を考慮し、最良の性能を示すEfficientNet-B7を教師モデルとして用いる。

実験結果

リサーチクエスチョン

• RQ1 攻撃的な拡張によって識別的特徴が消失し、ノイズが発生するAutoAugment環境下で、知識蒸留が訓練を効果的に安定化できるか？
• RQ2 教師モデルが提供するソフトラベルを用いることで、高強度のデータ拡張に起因するラベルの曖昧さの悪影響が軽減されるか？
• RQ3 特にEfficientNet-B7 や B8 のような高容量モデルにおいて、知識蒸留を適用した場合、AutoAugmentベースの訓練性能はどのように変化するか？
• RQ4 本手法が、弱教師付きまたは無教師画像のような追加学習データに依存せずに、ImageNetで最先端の精度を達成できるか？
• RQ5 拡張の強度と、監視を維持するために蒸留に考慮すべき上位Kクラスの数の間に相関関係があるか？

主な発見

• 本手法は、追加の学習データを一切使用せず、EfficientNet-B8を用いてImageNetで85.8%の新しいSOTAトップ1精度を達成した。これは前回の最高記録を0.3%上回る。
• EfficientNet-B7では、トップ1精度を84.9%から85.5%まで向上させ、0.6%の顕著な向上を達成した。これは敵対的例を用いないAdvPropを上回る性能を示した。
• 強力な拡張に対しても訓練が安定化され、高歪み度の拡張を伴うベースラインのRandAugmentでは最適化が不安定になりがちな状況でも安定した学習が可能となった。
• 強力なベースライン（PyramidNet + ShakeDrop）を用いたCIFAR-100では、10.6%のテスト誤差を達成し、同等の学習コストを持つ他の手法をすべて上回った。
• 教師モデルの使用により、明るさ変更、平行移動、せん断などの変換によって意味的情報が消失する場合でも、データ拡張に起因するノイズが顕著に抑制された。
• 本手法は、複数のモデルスケールおよび拡張方針において一貫した向上効果を示し、汎用性と耐性の両面で確認された。