[論文レビュー] Understanding Robust Learning through the Lens of Representation Similarities

Christian Cianfarani, Arjun Nitin Bhagoji+4 more|arXiv (Cornell University)|Jun 20, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、CKA などのメトリクスを用いて層間の表現類似度を分析することで、敵対的ロバスト性を持つ深層ニューラルネットワークが、標準ネットワークとはどのように異なる方法で表現を学習するかを調査している。その結果、ロバストネットワークには特徴の専門化がなく、『ブロック構造』が減少し、特に深い層で過学習が生じていることが明らかになった。これらは、ロバストモデルにおける性能低下や一般化の問題を説明する上で重要な洞察である。

ABSTRACT

Representation learning, i.e. the generation of representations useful for downstream applications, is a task of fundamental importance that underlies much of the success of deep neural networks (DNNs). Recently, robustness to adversarial examples has emerged as a desirable property for DNNs, spurring the development of robust training methods that account for adversarial examples. In this paper, we aim to understand how the properties of representations learned by robust training differ from those obtained from standard, non-robust training. This is critical to diagnosing numerous salient pitfalls in robust networks, such as, degradation of performance on benign inputs, poor generalization of robustness, and increase in over-fitting. We utilize a powerful set of tools known as representation similarity metrics, across three vision datasets, to obtain layer-wise comparisons between robust and non-robust DNNs with different training procedures, architectural parameters and adversarial constraints. Our experiments highlight hitherto unseen properties of robust representations that we posit underlie the behavioral differences of robust networks. We discover a lack of specialization in robust networks' representations along with a disappearance of `block structure'. We also find overfitting during robust training largely impacts deeper layers. These, along with other findings, suggest ways forward for the design and training of better robust networks.

研究の動機と目的

• ロバストでない深層ニューラルネットワークとロバストな深層ニューラルネットワークが学習する表現の根本的な違いを理解すること。
• 良性入力における性能低下や、ロバスト性の一般化が悪いといった、ロバストモデルに根ざした持続的問題を診断すること。
• アーキテクチャの選択（深さ、幅）、脅威モデル、敵対的バジェットが学習される表現に与える影響を調査すること。
• ロバストトレーニングの失敗を裏付ける表現の構造的および動的特性を同定すること。

提案手法

• 著者たちは、特に中心化カーネル整合性（CKA）を用いて、深層ニューラルネットワークの全層にわたる活性化を比較する表現類似度メトリクスを用いる。
• CIFAR-10、ImageNet-Subset（Imagenette/Imagewoof）で標準モデルとロバストモデルを学習し、良性および敵対的入力を用いて表現を評価する。
• アーキテクチャ（例：Wide ResNet）や敵対的バジェット（ε）、脅威モデル（ℓ∞、ℓ2、Gabor、JPEG、Snow）にわたる層ごとの比較を含む分析を行う。
• 訓練エポックを通じて表現類似度を追跡し、深い層における過学習や不安定性を検出する。
• 異なる敵対的攻撃に対して表現類似度のアブレーションスタディを実施し、異なる脅威モデル間での整合性を評価する。
• 可視化と統計的分析を用いて、表現のダイナミクスと訓練損失・精度の相関関係を特定する。

実験結果

リサーチクエスチョン

• RQ1 ロバストネットワークと非ロバストネットワークの表現構造は、層ごとにどのように異なっているか？
• RQ2 敵対的ロバスト性は、深層表現における特徴の専門化とブロック構造をどの程度減少させるか？
• RQ3 アーキテクチャのハイパーパrameter（幅、深さ）および敵対的バジェットが、表現類似度とモデル容量に与える影響は何か？
• RQ4 なぜロバストモデルでは深い層で過学習が顕著になるのか、そしてそれが一般化にどのように影響するのか？
• RQ5 異なる脅威モデルで学習された表現どうしがどの程度類似しているか。また、表現の整合性を用いて、多様な脅威モデルにわたる統合的ロバスト性を達成できるか？

主な発見

• ロバストネットワークでは、空間的に離れた層同士の類似度が顕著に高く、非ロバストモデルと比較して特徴の専門化が欠如していることが示された。
• ロバスト表現に『ブロック構造』が存在しないことは、より均一で、階層的でない特徴学習プロセスであることを示唆している。
• ロバストトレーニング中、過学習は特に深い層で顕著であり、初期層は安定している一方で、深い層の表現は訓練経過で著しく変化している。
• 敵対的バジェットを増加させたり、ネットワークの幅を減らしたりすると、長距離の表現類似度が上昇し、相対的なモデル容量が低下することが示唆された。
• Snow や Gabor といった視覚的に異なる脅威モデルですら、高い類似度の表現を学習しており、攻撃タイプを問わず共通のインダクティブバイアスが存在している可能性を示唆している。
• 特に高いバジェット下や深い層において、異なる脅威モデル間での表現の整合性が低いため、多様な脅威モデルにわたる統合的ロバスト性の達成は困難である。