[論文レビュー] Adversarially-Trained Deep Nets Transfer Better

Francisco Utrera, Evan Kravitz+3 more|arXiv (Cornell University)|Jul 11, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 24

ひとこと要約

この論文は、自然に訓練されたモデルとは対照的に、敵対的に訓練された深層ニューラルネットワークが、元のドメインでの一般化性能が劣っているにもかかわらず、新しいドメインにさらに効果的に転移することを示している。この向上は、敵対的訓練が初期層の特徴表現をより自然で一般的な画像構造に偏らせるためであり、限られたターゲットデータでも転移性が向上する。

ABSTRACT

Transfer learning has emerged as a powerful methodology for adapting pre-trained deep neural networks to new domains. This process consists of taking a neural network pre-trained on a large feature-rich source dataset, freezing the early layers that encode essential generic image properties, and then fine-tuning the last few layers in order to capture specific information related to the target situation. This approach is particularly useful when only limited or weakly labelled data are available for the new task. In this work, we demonstrate that adversarially-trained models transfer better across new domains than naturally-trained models, even though it's known that these models do not generalize as well as naturally-trained models on the source domain. We show that this behavior results from a bias, introduced by the adversarial training, that pushes the learned inner layers to more natural image representations, which in turn enables better transfer.

研究の動機と目的

• 敵対的訓練されたモデルが元のドメインでの一般化性能が劣っているにもかかわらず、転移学習でなぜより良い一般化を示すのかを調査すること。
• 敵対的訓練されたネットワークにおける転移性の向上を引き起こす背後要因を理解すること。
• 敵対的訓練が初期層におけるより自然な画像表現へのバイアスを引き起こすかどうかを調査すること。
• 限られたラベル付きデータを用いた下流タスクにおける敵対的訓練モデルと自然に訓練されたモデルの転移性能を比較すること。

提案手法

• 入力の摂動に対してロバスト性を高めるために、敵対的訓練を用いて大規模なソースデータセット上で深層ニューラルネットワークを事前学習する。
• 事前学習済みモデルの初期畳み込み層を凍結し、学習済みの一般的な特徴を保持する。
• ラベル付きデータが限られているか弱い監督信号を用いた新しい小さなターゲットデータセット上で、最終層のみを微調整する。
• 凍結された初期層の内部表現を分析し、それが自然画像統計とどの程度整合しているかを評価する。
• 複数の下流タスクにおいて、敵対的訓練モデルと自然に訓練されたモデルの転移性能を比較する。
• 活性化統計と特徴可視化を用いて、敵対的訓練が初期層においてより自然な画像表現を促進することを示す。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練が、元のドメインでの一般化性能が劣っているにもかかわらず、転移学習性能を向上させるか？
• RQ2 敵対的訓練がネットワークの内部表現に導入する特定のインダクティブバイアスは何か？
• RQ3 敵対的訓練モデルが学習する特徴表現は、自然に訓練されたモデルと比較して、自然画像構造の観点からどの程度優れているか？
• RQ4 転移性の向上は、より汎用的で転移可能な特徴を学習できる能力に起因する程度はどの程度か？
• RQ5 自然画像表現へのバイアスが、敵対的訓練モデルの優れた転移性能を説明できるか？

主な発見

• 自然に訓練されたモデルが元のドメインでより良い一般化を示すにもかかわらず、敵対的訓練モデルは下流タスクにおいて著しく優れた転移性能を達成する。
• 転移性の向上は、敵対的訓練が初期層に自然な画像表現へのバイアスを導入するためである。
• 敵対的訓練モデルの特徴活性化は、自然に訓練されたモデルと比較して、エッジやテクスチャパターンなどの自然画像統計とより強く整合している。
• 自然画像表現へのバイアスは、転移中に凍結される初期畳み込み層で最も顕著に現れる。
• ターゲットドメインでのラベル付きデータが限られている状況でも、敵対的訓練モデルは自然に訓練されたモデルを常に上回る性能を示す。
• 結果から、敵対的訓練がより汎用的で頑健な特徴学習を促進する正則化子として機能し、特徴の転移性を向上させることを示唆している。