[論文レビュー] Rethinking Data Augmentation: Self-Supervision and Self-Distillation

Hankook Lee, Sung Ju Hwang+1 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 41

ひとこと要約

本論文は、自己教師あり学習と自己 distillation を統合したフレームワークを提案し、教師あり深層学習におけるデータオーグメンテーションの性能を向上させる。本手法は、拡張されたサンプルの元のラベルと自己教師ありラベルを同時にモデリングすることで、少数ショットや不均衡な設定においてもより頑健な一般化を実現する。予測の集約と知識蒸留を通じて性能を向上させ、ラベル不変性を強制する標準的手法を上回る。

ABSTRACT

Data augmentation techniques, e.g., flipping or cropping, which systematically enlarge the training dataset by explicitly generating more training samples, are effective in improving the generalization performance of deep neural networks. In the supervised setting, a common practice for data augmentation is to assign the same label to all augmented samples of the same source. However, if the augmentation results in large distributional discrepancy among them (e.g., rotations), forcing their label invariance may be too difficult to solve and often hurts the performance. To tackle this challenge, we suggest a simple yet effective idea of learning the joint distribution of the original and self-supervised labels of augmented samples. The joint learning framework is easier to train, and enables an aggregated inference combining the predictions from different augmented samples for improving the performance. Further, to speed up the aggregation process, we also propose a knowledge transfer technique, self-distillation, which transfers the knowledge of augmentation into the model itself. We demonstrate the effectiveness of our data augmentation framework on various fully-supervised settings including the few-shot and imbalanced classification scenarios.

研究の動機と目的

• データオーグメンテーションに伴う大きな分布シフトにもかかわらず、ラベル不変性を強制する標準的手法の限界を是正すること。
• 拡張データから得られる元のラベルと自己教師ありラベルの同時分布を学習することで、モデルの一般化性能を向上させること。
• 自己 distillation を用いて、拡張ビューからメインモデルへ知識を転送することで、予測集約の高速化を図ること。
• 少数ショットや不均衡分類といった挑戦的な教師あり学習設定における有効性を示すこと。

提案手法

• 拡張されたサンプルからの元のラベルと自己教師あり予測を同時にモデリングする共同学習フレームワークを提案する。
• 回転予測などの自己教師あり信号を用いて、拡張ビューに対する補助的監視信号を生成する。
• 拡張ビューからメインモデルへ知識を転送する知識蒸留メカニズムを導入し、予測の高速化を実現する。
• 複数の拡張サンプルの予測を共同モデルを用いて集約することで、より頑健な性能を達成する。
• 元のラベルと自己教師ありラベルの両方の監視信号を統合した損失関数を用いて、エンドツーエンドでモデルを学習する。
• 推論時に、拡張ビューからの知識をメインネットワークに蒸留することで、1回の順伝播で推論を実行する。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションに起因する分布シフト下でも、元のラベルと自己教師ありラベルの共同学習がモデルの一般化性能を向上させるか？
• RQ2 自己 distillation は、拡張データからの性能向上を維持しつつ、推論効率をどのように向上させるか？
• RQ3 本フレームワークは、少数ショットおよび不均衡分類において、ラベル不変性を強制する標準的手法を上回るか？
• RQ4 自己教師あり学習は、大きなオーグメンテーション由来の分布シフトの悪影響をどの程度軽減できるか？

主な発見

• 分布シフトが顕著な状況下でも、標準的手法に比べて優れた性能を示す。
• 自己 distillation により、複数回の順伝播を必要とせず、拡張ビューからの知識をメインモデルに転送することで高速な推論が可能になる。
• データ不足が顕著な少数ショット学習状況において、一貫した性能向上が確認された。
• 不均衡分類タスクでは、自己教師あり信号を活用することでマイナスクラスの性能低下が軽減された。
• 複数のデータセットとバックボーンアーキテクチャにわたり有効であるため、広範な適用可能性を示した。