[論文レビュー] Adversarial Training Helps Transfer Learning via Better Representations

Zhun Deng, Linjun Zhang+3 more|arXiv (Cornell University)|Jun 18, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用数 4

ひとこと要約

この論文は、敵対的訓練により、表現の質が向上することで、転移学習の性能が向上することを理論的に分析している。敵対的訓練は、元のタスクの精度が低下する可能性があるにもかかわらず、転移学習の性能を向上させる。さらに、自己教師あり学習と敵対的訓練は相補的であり、両者の併用によりImageNetおよびCIFARベンチマークで優れた転移性能が得られることを示している。

ABSTRACT

Transfer learning aims to leverage models pre-trained on source data to efficiently adapt to target setting, where only limited data are available for model fine-tuning. Recent works empirically demonstrate that adversarial training in the source data can improve the ability of models to transfer to new domains. However, why this happens is not known. In this paper, we provide a theoretical model to rigorously analyze how adversarial training helps transfer learning. We show that adversarial training in the source data generates provably better representations, so fine-tuning on top of this representation leads to a more accurate predictor of the target data. We further demonstrate both theoretically and empirically that semi-supervised learning in the source data can also improve transfer learning by similarly improving the representation. Moreover, performing adversarial training on top of semi-supervised learning can further improve transferability, suggesting that the two approaches have complementary benefits on representations. We support our theories with experiments on popular data sets and deep learning architectures.

研究の動機と目的

• 敵対的訓練が元のタスクの精度が低下する可能性があるにもかかわらず、なぜ転移学習の性能を向上させるのかを理論的に説明すること。
• 疑似ラベル化による自己教師あり学習が、転移学習のための表現を向上させることを調査すること。
• 敵対的訓練と疑似ラベル化を組み合わせた場合、表現の転移性がどのように向上するかを検証すること。
• 敵対的訓練と疑似ラベル化がより広く応用される分類設定において、回帰に基づく既存の転移学習分析を一般化すること。
• 深層学習における転移学習の向上要因を理解するための実用的な理論枠組みを提供すること。

提案手法

• KLダイバージェンスとパッキング数を用いて、一般化誤差の上限を定めるために、敵対的訓練の表現品質への影響を理論的に分析する。
• 正規直交行列のη-パッキングに対して、sinθ距離とlog M ≍ rd log(1/η)を用いて表現品質の上限を導出する。
• 情報理論的ツール（例：KLダイバージェンス、相互情報量）を用いて、表現のロバスト性と一般化性能を定量化する。
• ImageNetとCIFAR-10/100でResNet-18を用いた実験的検証を行い、最終層のみのファインチューニングを実施する。
• ℓ₂ノイズ（ε=1）を用いた敵対的訓練と、ImageNetの10%のデータで事前学習したモデルを用いた疑似ラベル化を実装する。
• 疑似ラベルの量（0%〜900%）を系統的に変化させ、転移精度に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練により元のタスクの精度が低下する可能性があるにもかかわらず、なぜ転移学習の性能が向上するのか？
• RQ2 疑似ラベル化による自己教師あり学習も、転移学習のための表現を向上させることができるか？
• RQ3 敵対的訓練と疑似ラベル化は、転移学習における表現品質に対して相補的な効果を示すか？
• RQ4 分類設定における表現品質の理論的分析は、従来の回帰ベースのフレームワークとどのように対比されるか？
• RQ5 敵対的訓練と疑似ラベル化を組み合わせた場合、複数のデータセットにおける転移性能にどのような定量的影響を与えるか？

主な発見

• ImageNetで敵対的訓練を実施した場合、CIFAR-10における転移精度が、標準的な訓練と比較して最大4.3ポイント向上（17.3%から21.2%）した。
• 訓練データ量の900%に相当する疑似ラベル化を敵対的訓練と組み合わせた場合、Petsデータセットにおける転移精度が43.2%から59.6%に向上した。
• Flowersデータセットでは、敵対的訓練のみで転移精度が60.7%から66.9%に、疑似ラベル化のみで66.5%に向上した。
• 敵対的訓練と疑似ラベル化の併用により、Flowersデータセットで最高の精度70.1%を達成し、単独で実施した場合を上回った。
• 敵対的訓練により元のタスクの精度が低下しても、転移性能が向上した。これは、転移成功の鍵は表現品質であり、元のタスク精度ではないことを裏付けた。
• 理論的分析により、敵対的訓練がKLダイバージェンスの制御を改善することで、一般化誤差の上限を低減し、より良い表現を生成することを確認した。