[論文レビュー] Detecting Overfitting via Adversarial Examples

Roman Werpachowski, András György+1 more|arXiv (Cornell University)|Mar 6, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 7

ひとこと要約

本稿では、元のテストデータから生成された adversarial examples を用いて、テストセットへのモデルの過学習を非侵襲的に検出する統計的検定を提案する。標準的なテスト誤差率と重要度重み付き adversarial 誤差推定値を比較することで、両者が顕著に異なる場合に過学習を検出する。ImageNet に適用した結果、テストセットへの過学習の証拠は得られず、他の最近の報告と整合的である。

ABSTRACT

The repeated community-wide reuse of test sets in popular benchmark problems raises doubts about the credibility of reported test-error rates. Verifying whether a learned model is overfitted to a test set is challenging as independent test sets drawn from the same data distribution are usually unavailable, while other test sets may introduce a distribution shift. We propose a new hypothesis test that uses only the original test data to detect overfitting. It utilizes a new unbiased error estimate that is based on adversarial examples generated from the test data and importance weighting. Overfitting is detected if this error estimate is sufficiently different from the original test error rate. We develop a specialized variant of our test for multiclass image classification, and apply it to testing overfitting of recent models to the popular ImageNet benchmark. Our method correctly indicates overfitting of the trained model to the training set, but is not able to detect any overfitting to the test set, in line with other recent work on this topic.

研究の動機と目的

• ベンチマークテストセットにおけるモデル性能が繰り返し再利用されることによる過学習の懸念が高まっていることに対処すること。
• プロトコルの変更や外部データを必要とせず、元のテストセットのみに依存する非侵襲的な統計的検定を開発すること。
• Adversarial examples を用いた不偏で分散が小さい誤差推定値を構築し、モデルとテストセットの依存関係を検出すること。
• 実世界のベンチマーク、特に ImageNet に対してこの手法を評価し、最先端のモデルがテストセットに過学習していないかどうかを検証すること。
• 計算可能な重要度重みを持つ adversarial パーティクルを用いた一般化テストの可能性を視野に入れた、視覚分野およびそれ以上の分野への応用可能性を検討すること。

提案手法

• 元のテスト例を摂動させた adversarial examples から導出される重要度重み付き adversarial 誤差推定値と、標準的なテスト誤差率を比較する新しい仮説検定を提案する。
• 小さな平行移動（例：(5,-5)）を用いた adversarial examples を作成することで、データ密度を維持し、重要度重みの計算を可能にする。
• Adversarial パーティクルによって生じる共変量シフトを補正するために重要度重み付けを適用し、モデルとテストセットの独立性のもとで推定値が不偏となるように保証する。
• 標準誤差と adversarial 誤差推定値の乖離を用いたペアワイズ独立性検定により、独立性の帰無仮説を棄却する。
• 複数の独立に訓練されたモデル（N-model テスト）の結果を統合することで、モデルアーキテクチャレベルでのテストにこの手法を拡張する。
• 強力な攻撃、近接攻撃、およびランダムベースラインなど、特別な AEG（Adversarial Example Generator）を用いて、テストの強度と耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 独立したテストデータやプロトコルの強制を要せず、テストセットへの過学習を統計的検定で検出できるか？
• RQ2 提案された adversarial 誤差推定値は不偏であり、標準誤差推定値よりも過学習に対して感受性が高いか？
• RQ3 この手法は、テストセットが再利用される状況においても、最先端の ImageNet モデルの過学習を検出できるか？
• RQ4 異なる adversarial 攻撃タイプ（例：最も強い攻撃 vs. 最小の摂動）が、テストのパワーと信頼性にどのように影響するか？
• RQ5 この手法は、画像分類を越えて、NLP や音声認識などの他の機械学習タスクにも一般化可能か？

主な発見

• 全訓練セットと最も強い adversarial パーティクルを用いた場合、モデルと ImageNet 訓練セットの間の過学習が有意に検出され、p値は 0.000006（99.9994% の信頼度）であった。
• モデルと ImageNet テストセットの間の独立性は有意に棄却されず、p値は 0.96 であった。これは、テストセットへの検出可能な過学習がないことを示している。
• ResNet-50 では、120 個の独立に訓練されたモデルを用いた N-model テストでも、p値は 1.0 であった。これは、テストセットへの過学習が存在しないことをさらに裏付けている。
• 「最も強い摂動」AEG は訓練データへの過学習検出に有効であったが、弱い摂動やランダムな摂動では効果がなく、摂動の強度の重要性が浮き彫りになった。
• この手法は、訓練セットに適用した際には基本的な信頼区間比較に劣っていた。これは、提案された検定設計の優位性を示している。
• 結果は、ImageNet テストセットへの過学習が最小限である可能性を示す他の最近の研究と整合しており、計算コストの高さと開発されたモデルアーキテクチャ数の少なさによるものと考えられる。