[論文レビュー] Understanding the Decision Boundary of Deep Neural Networks: An Empirical Study

David Mickisch, Felix Assion+3 more|arXiv (Cornell University)|Feb 5, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 25

ひとこと要約

この経験的研究では、深層ニューラルネットワークの意思決定境界が学習中にどのように変化するかを調査し、自然画像から意思決定境界までの最小距離（マージン）が時間とともに減少することを明らかにした—精度が安定化する後期の学習エポックでさえも同様である。 adversarial training はこの傾向を緩和し、マージンを安定化させ、耐性を向上させる。これは、劣悪な耐性がアーキテクチャや初期化の問題ではなく、学習ダイナミクスに起因する可能性を示唆している。

ABSTRACT

Despite achieving remarkable performance on many image classification tasks, state-of-the-art machine learning (ML) classifiers remain vulnerable to small input perturbations. Especially, the existence of adversarial examples raises concerns about the deployment of ML models in safety- and security-critical environments, like autonomous driving and disease detection. Over the last few years, numerous defense methods have been published with the goal of improving adversarial as well as corruption robustness. However, the proposed measures succeeded only to a very limited extent. This limited progress is partly due to the lack of understanding of the decision boundary and decision regions of deep neural networks. Therefore, we study the minimum distance of data points to the decision boundary and how this margin evolves over the training of a deep neural network. By conducting experiments on MNIST, FASHION-MNIST, and CIFAR-10, we observe that the decision boundary moves closer to natural images over training. This phenomenon even remains intact in the late epochs of training, where the classifier already obtains low training and test error rates. On the other hand, adversarial training appears to have the potential to prevent this undesired convergence of the decision boundary.

研究の動機と目的

• 高精度を示すにもかかわらず、最先端の深層ニューラルネットワークがなぜ adversarial examples や入力の不具合に対して依然として脆弱であるかを理解すること。
• 深層ニューラルネットワークの学習プロセス中に、データポイントから意思決定境界までの距離がどのように変化するかを調査すること。
• adversarial training が意思決定境界への近接度の変化に与える影響を評価し、耐性の向上を検証すること。
• モデルのキャリブレーション、予測の信頼度、および意思決定境界からの距離との関係を調査すること。
• 観察されたマージンダイナミクスが、さまざまなアーキテクチャやデータセットに一般化するかどうかを評価すること。

提案手法

• DeepFool アルゴリズムを近似として用い、各データポイントから意思決定境界までの最小距離（マージン）を経験的に追跡する。
• MNIST、Fashion-MNIST、CIFAR-10 に対して標準的および adversarially 訓練されたモデルを学習し、学習の各段階におけるマージンの変化を比較する。
• 複数の学習エポックで、正しく分類された画像および誤分類された画像の ℓ₂ および ℓ∞-ノルムのマージンを計算する。
• 平均マージンの時間的傾向を分析し、意思決定境界が自然データに近づく収束または発散の兆候を検出する。
• PGD 攻撃を用いた adversarial training を実施し、マージン安定性および耐性への影響を評価する。
• ℓ₂ および ℓ∞ ノルム間のマージン分布を、標準的および adversarially 訓練されたモデルと比較し、耐性の転送性を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの学習中に、自然画像から意思決定境界までの距離はどのように変化するか？
• RQ2 精度が収束した後期の学習エポックでも、マージン距離の減少は継続するか？
• RQ3 adversarial training は、意思決定境界が自然画像に近づく傾向を防げるか？
• RQ4 正しく分類された画像と誤分類された画像との間で、マージン距離に顕著な差があるか？
• RQ5 マージン安定性の向上が、adversarial および不具合耐性の向上とどの程度相関しているか？

主な発見

• 学習の過程で、意思決定境界は訓練画像およびテスト画像の両方に対して次第に近づく。これは、精度が安定化した後期のエポックでも同様である。
• 低レベルの訓練誤差およびテスト誤差にもかかわらず、意思決定境界が自然データに近づく傾向が持続する。これは、高精度が耐性を意味するわけではないことを示唆している。
• adversarial training は、正しく分類された画像の平均マージンを安定化または増加させる一方で、標準的学習で見られる低下を防ぐ。
• 誤分類された画像は、時間の経過とともに一貫してマージンが減少しており、摂動に対してより脆弱であることが示唆される。
• adversarial training により、MNIST および Fashion-MNIST において ℓ₂ と ℓ∞ ノルム間で耐性が転送され、マージン安定性の一般化が向上していることが示された。
• 予測の信頼度と実際のマージン距離の間に顕著な乖離が認められ、特に誤分類されたサンプルではモデルキャリブレーションが著しく劣っていることが示唆された。