[論文レビュー] A Spectral View of Adversarially Robust Features

Shivam Garg, Vatsal Sharan+2 more|arXiv (Cornell University)|Jan 1, 2018

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本論文は、与えられた距離関数下でのデータセット幾何構造のスペクトル的性質を活用して、敵対的ロバストな特徴を学習することを提案する。ロバスト性とスペクトル的構造の間の理論的リンクを確立し、ロバストな特徴抽出と、高い変動性を示す任意の関数のロバスト性の下界を可能にする。実験的結果では、これらの特徴が下流モデルのロバスト性と精度を向上させることを示している。

ABSTRACT

Given the apparent difficulty of learning models that are robust to adversarial perturbations, we propose tackling the simpler problem of developing adversarially robust features. Specifically, given a dataset and metric of interest, the goal is to return a function (or multiple functions) that 1) is robust to adversarial perturbations, and 2) has significant variation across the datapoints. We establish strong connections between adversarially robust features and a natural spectral property of the geometry of the dataset and metric of interest. This connection can be leveraged to provide both robust features, and a lower bound on the robustness of any function that has significant variance across the dataset. Finally, we provide empirical evidence that the adversarially robust features given by this spectral approach can be fruitfully leveraged to learn a robust (and accurate) model.

研究の動機と目的

• 敵対的摂動に対してロバストである一方で、データポイント間で顕著な変動を示す特徴を学習する手法を開発すること。
• 与えられた距離関数下でのデータセット幾何構造のスペクトル的性質と敵対的ロバスト性との間の理論的関連を確立すること。
• データセット全体で顕著な変動を示す任意の関数のロバスト性の下界を導出すること。
• 提案手法のロバストな特徴が下流モデルのロバスト性と精度を向上させることを実験的に検証すること。

提案手法

• この手法は、データセットと選択された距離関数から導出されるカーネル行列のスペクトル分解を分析することで、ロバストな特徴を同定する。
• このカーネル行列の主要固有ベクトルが、高い変動性を示す関数であり、特定の条件下では小さな摂動に対してもロバストであるという事実を活用する。
• スペクトルギャップと固有値分布を用いて、最も変動の大きい特徴の本質的ロバスト性を定量化する。
• ロバストな特徴は、カーネル行列の上位固有ベクトルとして抽出され、それらは本質的に小さな敵対的摂動に対して感度が低い。
• この手法は、カーネル行列のスペクトル的性質から、顕著な変動を示す任意の関数のロバスト性の理論的下界を提供する。
• 実験的評価では、これらのスペクトル的特徴を用いてモデルを訓練し、そのロバスト性と精度に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、顕著な変動性と敵対的摂動に対してロバストな特徴を体系的かつ一貫して同定できるか？
• RQ2 与えられた距離関数下でのデータセット幾何構造のどのスペクトル的性質が、高変動関数のロバスト性を支配するか？
• RQ3 データセット全体で顕著な変動を示す任意の関数のロバスト性に対して、理論的下界を導出できるか？
• RQ4 スペクトル的特徴は、下流モデルのロバスト性と精度をどの程度向上させるか？
• RQ5 標準的な特徴学習と比較して、スペクトル的手法は敵対的ロバスト性においてどのように異なるか？

主な発見

• スペクトル的手法は、小さな入力変更に対して低い感度を示すという証拠に基づき、顕著な変動性と敵対的摂動に対してロバストな特徴を効果的に同定できた。
• カーネル行列のスペクトルギャップから、顕著な変動を示す任意の高変動関数のロバスト性の理論的下界を導出可能であり、これは本質的ロバスト性を測る原理的指標を提供する。
• この手法は、データセットのスペクトル的構造と学習済み特徴のロバスト性との間の直接的なリンクを確立し、敵対的ロバスト性の幾何的解釈を提供する。
• 実験的結果では、これらのスペクトル的特徴を用いて訓練されたモデルが、標準的特徴を用いたモデルと比較して高いロバスト精度を達成した。
• このアプローチは、敵対的条件下での一般化を向上させる、理論的根拠に基づいた新しい特徴工学的手法を提供する。