[論文レビュー] Knowledge Distillation Thrives on Data Augmentation.

Huan Wang, Suhas Lohit+2 more|arXiv (Cornell University)|Dec 5, 2020

Advanced Neural Network Applications参考文献 39被引用数 10

ひとこと要約

本論文は、知識蒸留（KD）損失が、交差エントロピー損失とは異なり、入力の複数の変換済みビューを活用できるため、データ拡張（DA）によって顕著に利益を受けることを示している。より強力なDA技術——例えば、mixup、CutMix、およびKDに特化したアクティブラーニングベースの新規DA——を適用することで、より複雑な蒸留損失を用いた最先端手法を上回る性能が得られる。

ABSTRACT

Knowledge distillation (KD) is a general deep neural network training framework that uses a teacher model to guide a student model. Many works have explored the rationale for its success, however, its interplay with data augmentation (DA) has not been well recognized so far. In this paper, we are motivated by an interesting observation in classification: KD loss can benefit from extended training iterations while the cross-entropy loss does not. We show this disparity arises because of data augmentation: KD loss can tap into the extra information from different input views brought by DA. By this explanation, we propose to enhance KD via a stronger data augmentation scheme (e.g., mixup, CutMix). Furthermore, an even stronger new DA approach is developed specifically for KD based on the idea of active learning. The findings and merits of the proposed method are validated by extensive experiments on CIFAR-100, Tiny ImageNet, and ImageNet datasets. We can achieve improved performance simply by using the original KD loss combined with stronger augmentation schemes, compared to existing state-of-the-art methods, which employ more advanced distillation losses. In addition, when our approaches are combined with more advanced distillation losses, we can advance the state-of-the-art performance even more. On top of the encouraging performance, this paper also sheds some light on explaining the success of knowledge distillation. The discovered interplay between KD and DA may inspire more advanced KD algorithms.

研究の動機と目的

• 知識蒸留（KD）損失が延長された訓練イテレーションにおいて利益を受ける理由が、交差エントロピー損失とは異なる理由を調査すること。
• KDとデータ拡張（DA）の間の根本的なメカニズム、特にDAがKDの性能をどのように向上させるかを理解すること。
• KDに特化した強力なデータ拡張戦略を提案し、学生モデルの性能を向上させること。
• 標準KD損失と高度なDAを組み合わせることで、より複雑な蒸留損失を用いた最先端手法を上回ることを検証すること。
• KDの成功要因を明らかにし、KDとデータ拡張の相乗効果を解明することによる知見を提供すること。

提案手法

• 著者らは、KD損失がデータ拡張によって利益を受ける理由を、同じ入力の複数の変換済みビューを活用できることに起因すると特定した。
• mixup や CutMix などのより強力なデータ拡張技術を適用することでKDを強化する手法を提案した。これらは多様な入力変換を生成する。
• アクティブラーニングの原則に基づいた、KDに特化した新規データ拡張手法を開発した。
• 教師モデルの信頼度を用いて、知識転送を最大化する情報量の多い変換を選択する。
• 従来のKD損失を維持しつつ、強化されたデータ多様性によって一般化性能を著しく向上させる。
• CIFAR-100、Tiny ImageNet、ImageNetの複数のベンチマークで実験を行い、性能向上を検証した。

実験結果

リサーチクエスチョン

• RQ1 同じデータで訓練されているにもかかわらず、知識蒸留損失が長時間の訓練で利益を受ける一方で、交差エントロピー損失はそうではないのはなぜか？
• RQ2 データ拡張は知識蒸留とどのように作用し、モデル性能を向上させるのか？
• RQ3 蒸留損失を変更せずに、より強力なデータ拡張スキームを単独で適用することでKD性能を向上させられるか？
• RQ4 KDに特化して設計されたデータ拡張戦略は、標準的な拡張手法を上回る性能を発揮できるか？
• RQ5 提案されたDA手法を高度な蒸留損失と組み合わせることで、最先端性能がさらに向上するか？

主な発見

• 知識蒸留損失が延長された訓練で利益を受けるのは、入力の複数の変換済みビューを活用できるためであり、交差エントロピー損失はそれを効果的に活用できない。
• 標準KD損失にmixup や CutMix といったより強力なデータ拡張技術を適用することで、CIFAR-100、Tiny ImageNet、ImageNetの各ベンチマークで性能が向上した。
• アクティブラーニングに基づくKDに特化した新規データ拡張手法により、情報量の多い変換に焦点を当てることで性能がさらに向上した。
• 標準KD損失とより強力なデータ拡張の組み合わせが、より複雑な蒸留損失を用いた最先端手法を上回る性能を達成した。
• 高度な蒸留損失と組み合わせた場合、提案手法のデータ拡張技術によりさらなる性能向上が得られ、最先端技術がさらに進化した。
• 本研究の発見は、知識蒸留とデータ拡張の間にはかつて軽視されてきた相乗効果があることを明らかにし、KDの成功要因の一部を説明している。