[論文レビュー] On the relationship between class selectivity, dimensionality, and robustness

Matthew L. Leavitt, Ari S. Morcos|arXiv (Cornell University)|Jul 8, 2020

Imbalanced Data Classification Techniques参考文献 26被引用数 4

ひとこと要約

本稿は、深層ニューラルネットワークにおけるクラス選択性（ニューロンが特定のクラスに対してどれほど選択的に応答するか）とロバストネスの因果関係を調査する。クラス選択性正則化子を用いて、低い選択性が自然的劣化（例：ぼかし、明るさの変化）に対してロバストネスを向上させるが、勾配ベースの adversarial 攻撃に対しては脆弱性を増加させることを示した。活性化変化の表現次元の上昇が、adversarial 攻撃への脆弱性を説明している。

ABSTRACT

While the relative trade-offs between sparse and distributed representations in deep neural networks (DNNs) are well-studied, less is known about how these trade-offs apply to representations of semantically-meaningful information. Class selectivity, the variability of a unit's responses across data classes or dimensions, is one way of quantifying the sparsity of semantic representations. Given recent evidence showing that class selectivity can impair generalization, we sought to investigate whether it also confers robustness (or vulnerability) to perturbations of input data. We found that mean class selectivity predicts vulnerability to naturalistic corruptions; networks regularized to have lower levels of class selectivity are more robust to corruption, while networks with higher class selectivity are more vulnerable to corruption, as measured using Tiny ImageNetC and CIFAR10C. In contrast, we found that class selectivity increases robustness to multiple types of gradient-based adversarial attacks. To examine this difference, we studied the dimensionality of the change in the representation due to perturbation, finding that decreasing class selectivity increases the dimensionality of this change for both corruption types, but with a notably larger increase for adversarial attacks. These results demonstrate the causal relationship between selectivity and robustness and provide new insights into the mechanisms of this relationship.

研究の動機と目的

• 深層ニューラルネットワークの表現におけるクラス選択性が、入力摂動に対するロバストネスに与える影響を調査すること。
• 自然的劣化と勾配ベースの adversarial 攻撃の両方に対して、スパース（高選択性）または分散（低選択性）表現がどちらがより優れたロバストネスを示すかを検討すること。
• クラス選択性が、平均ケース（劣化）と最悪ケース（adversarial）ロバストネスの間のトレードオフを媒介しているかどうかを特定すること。
• 表現次元が、選択性とロバストネスの関係を媒介する役割を果たすかを分析すること。

提案手法

• 個々のニューロンのクラス選択性のレベルを制御するために、訓練中にクラス選択性正則化子が適用された。
• クラス選択性は、最大と非最大のクラス条件付き平均活性化の差に基づく正規化インデックスを用いて測定された。
• Tiny ImageNet および CIFAR10 で訓練を行い、正則化強度（α）を変化させた。負の α は選択性を低下させ、正の α は選択性を増加させた。
• ロバストネスは、Tiny ImageNetC および CIFAR10C を用いた自然的劣化、および FGSM と PGD を用いた adversarial 攻撃で評価された。
• 表現次元は主成分分析（PCA）を用いて測定され、摂動による活性化変化の分散の90％を説明するのに必要な次元数が数えられた。
• ネットワークの安定性は、入力-出力ヤコビアンを用いて adversarial 摂動下での評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 クラス選択性を低くすることで、自然的画像劣化に対するロバストネスが向上するか？
• RQ2 クラス選択性を低くすることで、勾配ベースの adversarial 攻撃に対する脆弱性が増加するか？
• RQ3 摂動による活性化変化の次元は、ロバストネスとどのように関係するか？
• RQ4 異なる摂動タイプにおいて、クラス選択性とロバストネスの間に因果的関係があるか？
• RQ5 表現変化の次元が、劣化と adversarial ロバストネスの間の観察されたトレードオフを説明できるか？

主な発見

• 低クラス選択性は、Tiny ImageNetC および CIFAR10C における自然的劣化に対して顕著にロバストネスを向上させ、選択性が低下するにつれて平均テスト精度が上昇した。
• クラス選択性を低くすると、FGSM および PGD adversarial 攻撃に対する脆弱性が増加し、低選択性モデルではテスト精度がより急激に低下した。
• 特に初期層において、低選択性ネットワークでは adversarial 摂動による活性化変化の次元が顕著に増加した。
• 自然的劣化の場合は、低選択性に伴い活性化変化の次元も増加したが、adversarial 攻撃ほど顕著ではなかった。
• adversarial 攻撃下での活性化変化の次元上昇は、低選択性モデルの脆弱性増加と強く相関していた。
• 結果は、根本的なトレードオフを示している：低選択性は平均ケースのロバストネスを高めるが、高次元の表現シフトのため、最悪ケースのロバストネスを損なう。