[論文レビュー] Universal Adversarial Perturbations to Understand Robustness of Texture vs. Shape-biased Training

Kenneth T. Co, Luis Muñoz-González+3 more|arXiv (Cornell University)|Nov 23, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用数 3

ひとこと要約

この論文は、テクスチャバイアスを低減するために設計された、Stylized-ImageNetで訓練されたCNNのロバストネスを、ユニバーサル adversarial perturbations (UAPs) を用いて調査している。形状ベースの学習を行っても、モデルはUAPに対して依然として極めて脆弱であり、標準ImageNetで微調整を行うと、形状バイアスの利点が消失する。これは、現在のロバストネスアプローチにおける根本的な制限を示している。

ABSTRACT

Convolutional Neural Networks (CNNs) used on image classification tasks such as ImageNet have been shown to be biased towards recognizing textures rather than shapes. Recent work has attempted to alleviate this by augmenting the training dataset with shape-based examples to create Stylized-ImageNet. However, in this paper we show that models trained on this modified dataset remain as vulnerable to Universal Adversarial Perturbations (UAPs) as those trained in ImageNet. We use UAPs to evaluate, compare, and understand the robustness of CNN models with varying degrees of shape-based training. We also find that a posteriori fine-tuning on ImageNet negates features learned from training on Stylized-ImageNet. This study reveals an important current limitation and highlights the need for further research into robustness of CNNs for visual recognition.

研究の動機と目的

• Stylized-ImageNetで訓練したCNNが、ユニバーサル adversarial perturbations (UAPs) に対して脆弱性を示すかどうかを評価すること。
• UAPsを診断ツールとして用いて、さまざまな程度の形状ベースの学習を経たモデルのロバストネスを比較すること。
• 形状ベースの事前学習後に標準ImageNetで微調整することにより、学習されたロバストネスが保持されるか、あるいは消失するかを調査すること。
• 現在のデータ拡張戦略がモデルのロバストネスを向上させる上で、根本的な制限をどのように示すかを理解すること。

提案手法

• ImageNetおよびStylized-ImageNetで訓練されたモデルのロバストネスを評価するために、ユニバーサル adversarial perturbations (UAPs) を適用すること。
• 形状ベースのデータ拡張の強度を段階的に増加させることで、形状バイアスの強度のスケールを生成すること。
• クリーンな入力および摂動を加えた入力に対するUAPの成功率とだまし成功率を測定し、ロバストネスを定量化すること。
• 形状ベースの事前学習後に、標準ImageNetで事後的な微調整を実施し、特徴の保持状態を評価すること。
• UAPsを診断ツールとして用いて、訓練済みモデルのインダクティブバイアスを調査すること。

実験結果

リサーチクエスチョン

• RQ1 Stylized-ImageNetで訓練したモデルは、標準ImageNetで訓練したモデルと比較して、ユニバーサル adversarial perturbationsに対してより高いロバストネスを示すか？
• RQ2 形状ベースの学習の程度とUAPへの脆弱性の相関関係は何か？
• RQ3 形状ベースの事前学習後に標準ImageNetで微調整することにより、形状バイアスの利点がどの程度損なわれるか？
• RQ4 UAP感受性は、データ拡張済みデータセットで訓練されたCNNのインダクティブバイアスについて何を明らかにするか？

主な発見

• Stylized-ImageNetで訓練したモデルは、標準ImageNetで訓練したモデルと同様に、ユニバーサル adversarial perturbationsに対して脆弱である。
• 形状ベースの学習の程度がUAPの成功率を顕著に低下させないため、依然として脆弱性が継続している。
• 形状ベースの事前学習後に標準ImageNetで事後的な微調整を行うと、形状ベースの学習で得られたロバストネスの向上が消失する。
• UAPは、現在のデータ拡張戦略が、テクスチャバイアスに意図的に対処しても、真にロバストなモデルを生み出せないことを効果的に暴露している。