[論文レビュー] How benign is benign overfitting?

Amartya Sanyal, Puneet K. Dokania+2 more|arXiv (Cornell University)|Jul 8, 2020

Adversarial Robustness in Machine Learning参考文献 63被引用数 12

ひとこと要約

この論文は、良性オーバーフィッティングを通じて高い自然精度を達成しているにもかかわらず、深層ニューラルネットワークがなぜ依然として adversarial 攻撃に対して脆弱であるかを調査する。label noise と SGD 学習における暗黙のインダクティブバイアスが主な要因であると特定し、耐性の向上には単なる adversarial training に加え、より良い表現学習に結びつく複雑な意思決定境界が必要であることを示している。

ABSTRACT

We investigate two causes for adversarial vulnerability in deep neural networks: bad data and (poorly) trained models. When trained with SGD, deep neural networks essentially achieve zero training error, even in the presence of label noise, while also exhibiting good generalization on natural test data, something referred to as benign overfitting [2, 10]. However, these models are vulnerable to adversarial attacks. We identify label noise as one of the causes for adversarial vulnerability, and provide theoretical and empirical evidence in support of this. Surprisingly, we find several instances of label noise in datasets such as MNIST and CIFAR, and that robustly trained models incur training error on some of these, i.e. they don't fit the noise. However, removing noisy labels alone does not suffice to achieve adversarial robustness. Standard training procedures bias neural networks towards learning "simple" classification boundaries, which may be less robust than more complex ones. We observe that adversarial training does produce more complex decision boundaries. We conjecture that in part the need for complex decision boundaries arises from sub-optimal representation learning. By means of simple toy examples, we show theoretically how the choice of representation can drastically affect adversarial robustness.

研究の動機と目的

• 良性オーバーフィッティングを示す深層ニューラルネットワークにおける adversarial vulnerability の根本原因を理解すること。
• MNIST や CIFAR-10 のような標準データセットに存在する label noise が、adversarial vulnerability に寄与するかどうかを調査すること。
• SGD が単純な意思決定境界へと傾くインダクティブバイアスが耐性に与える影響を分析すること。
• 細分化されたラベルを用いた表現学習の改善が、adversarial robustness を向上させられるかどうかを評価すること。
• 耐性と精度が本質的にトレードオフであるという仮定に疑問を呈すること、特に耐性付き分類器が存在する場合に焦点を当てる。

提案手法

• label noise が明示的に導入された合成データ分布の理論的分析により、adversarial robustness に与える影響を調査する。
• 実際のデータセット（MNIST、CIFAR-10）の経験的検査により、label noise の検出と定量的評価を行い、モデルの誤りを手動で検証する。
• 標準学習と adversarial training（例：AT、TRADES）の比較により、ノイジーまたは特異な例への一般化能力を評価する。
• Chernoff 確率的不等式と集中不等式を用いて、ノイジーな状況下でのラベル分布と多数決の正確性に関する確率的保証を導出する。
• 異なる特徴表現が意思決定境界の複雑さにどのように影響するかを示すためのトイ例の構築により、adversarial robustness に与える影響を検証する。
• 細分化されたラベル（例：CIFAR-100）を用いた robust accuracy の評価により、より豊かな監視情報が耐性に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 MNIST や CIFAR-10 のような標準データセットにおける label noise が、高い自然精度を達成するモデルの adversarial vulnerability にどの程度寄与しているか。
• RQ2 robust に訓練されたモデルはなぜ noisy labels を記憶しないのか。また、これは特異的だが正しくラベル付けされた例（例：レアな犬の種類）に対する一般化にどのように影響するか。
• RQ3 SGD が単純な意思決定境界へと傾くインダクティブバイアスが、adversarial robustness をどのように損なうのか。
• RQ4 細分化されたラベルによる表現学習の向上が、自然精度を損なわせることなく、より耐性のある意思決定境界を生み出せるか。
• RQ5 耐性と精度のトレードオフは避けられないものなのか。あるいは、データ分布自体が耐性的に分離可能である場合には、耐性付き分類器が存在しうるのか。

主な発見

• label noise は MNIST や CIFAR-10 のような標準データセットに広く存在しており、経験的証拠により、AT や TRADES といった adversarial training 法がこれらのノイズラベルを記憶しないことが示された。
• robust training モデルは、ノイズラベルの他に、特異的だが正しくラベル付けされた例（例：レアな犬の種類）に対しても訓練誤差を示しており、両者を記憶しないことが示唆された。
• 理論的分析により、ゼロの訓練誤差と高い自然精度を達成しても、label noise が存在する場合には、adversarial risk が 0.1 を超える可能性があることが分かった。
• adversarial training は、標準の SGD 学習よりもより複雑な意思決定境界を生成しており、耐性指向のインダクティブバイアスへのシフトを示している。
• 細分化されたラベル（例：CIFAR-100）の導入により、robust accuracy が向上し、より良い表現学習が adversarial robustness を向上させることを実証した。
• 耐性付き分類器が存在する状況（例：人間による耐性的分離可能性）では、耐性と精度のトレードオフは避けられないものではない。適切な表現が学習されれば、耐性と高い自然精度が両立可能である。