[論文レビュー] Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification

Francisco Utrera, Evan Kravitz+3 more|arXiv (Cornell University)|Jul 11, 2020

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

この論文は、限られたターゲットデータがある条件下で、敵対的に訓練された深層ニューラルネットワークが、標準的で敵対的でない訓練を受けていないモデルよりも、新しい画像分類タスクへの転移がより効果的であることを示している。この向上は、敵対的訓練が、テクスチャではなく形状特徴に偏った表現を生み出すことに起因し、人間が識別可能な意味的意味のある特徴を強化することで、転移性が向上する。

ABSTRACT

Transfer learning has emerged as a powerful methodology for adapting pre-trained deep neural networks on image recognition tasks to new domains. This process consists of taking a neural network pre-trained on a large feature-rich source dataset, freezing the early layers that encode essential generic image properties, and then fine-tuning the last few layers in order to capture specific information related to the target situation. This approach is particularly useful when only limited or weakly labeled data are available for the new task. In this work, we demonstrate that adversarially-trained models transfer better than non-adversarially-trained models, especially if only limited data are available for the new domain task. Further, we observe that adversarial training biases the learnt representations to retaining shapes, as opposed to textures, which impacts the transferability of the source models. Finally, through the lens of influence functions, we discover that transferred adversarially-trained models contain more human-identifiable semantic information, which explains -- at least partly -- why adversarially-trained models transfer better.

研究の動機と目的

• 敵対的訓練されたモデルが、転移学習の設定においてドメインをまたいでより良い一般化性能を示すかどうかを調査すること。
• ロバストモデルは、元のドメインでの正確性が低いにもかかわらず、優れた転移性能を示す理由を理解すること。
• 敵対的訓練が、テクスチャ対形状のバイアスという観点から、学習された特徴表現に与える影響を分析すること。
• 影響関数を用いて、人間が識別可能な意味的情報が転移性に果たす役割を調査すること。
• データ不足とファインチューニング戦略の影響が、ロバストモデルとネイチャルモデルの転移性能に与える影響を評価すること。

提案手法

• ImageNet-1Kで敵対的（PGDおよびガウスノイズ攻撃を用いて）および非敵対的（自然に）訓練された、事前学習済みのResNet-50モデルを用いた。
• ターゲットデータセットを多様に選び、ラベル付きデータ量を変化させながら、初期層を固定し、最後の数層をファインチューニングすることで転移学習を実施した。
• 敵対的訓練では、ℓ₂およびℓ∞制約をそれぞれPGDとガウスノイズの摂動に適用し、固定された摂動予算のもとで実行した。
• 影響関数を用いて、ソースドメインにおけるどのトレーニング例がターゲットドメインの予測に最も影響を与えたかを分析した。
• 活性化マップと特徴類似度分析を用いて、特徴表現を可視化・比較し、テクスチャ対形状のバイアスを評価した。
• 複数のデータセット、ファインチューニングブロック数、サブセットサイズを対象とした広範なアブレーションスタディを実施し、結果の堅牢性を検証した。

実験結果

リサーチクエスチョン

• RQ1 限られたデータで新しい画像分類タスクにファインチューニングされた際、敵対的訓練されたモデルは、標準的モデルよりも高い正確性を達成するか？
• RQ2 敵対的訓練は、学習された表現のインダクティブバイアスにどのように影響するか—具体的には、形状特徴かテクスチャ特徴のどちらを好むか？
• RQ3 影響関数を用いて測定した場合、ロバストモデルが人間が識別可能な意味的情報をどれほど保持しているか？
• RQ4 ソースデータセットとターゲットデータセットの類似度は、ファインチューニングする層の最適数や敵対的制約の選択にどのように影響するか？
• RQ5 ロバストモデルの向上した転移性は、より意味的意味のある特徴表現に起因していると特定できるか？

主な発見

• 敵対的訓練されたモデルは、トレーニングデータの10％未満のデータでファインチューニングされたターゲットデータセットにおいて、自然モデルよりも顕著に高いテスト正確性を達成した。
• ロバストモデルは、特にデータが不足する条件下で、より早く収束し、より高い正確性に到達した。
• 敵対的訓練は、テクスチャよりも形状情報をより強く保持する表現を生み出し、データセット固有のパターンへの依存を低下させた。
• 影響関数分析から、敵対的訓練されたモデルは、学習された特徴に人間が識別可能な意味的情報をより多く含んでいることが明らかになった。
• ドメインシフトが大きく、データが少ないデータセットでは、ロバストモデルと自然モデルの性能差が最も顕著に現れた。
• ロバストモデルの転移性の優位性は、複数のターゲットデータセットおよびファインチューニング設定で一貫しており、広範な適用可能性が示された。