[論文レビュー] Investigating Decision Boundaries of Trained Neural Networks

Roozbeh Yousefzadeh, Dianne P. O’Leary|arXiv (Cornell University)|Aug 7, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用数 7

ひとこと要約

本稿では、訓練済みニューラルネットワークの意思決定境界上の正確なフリップポイント（フリップ点）を計算することで、近傍の adversarial パーティクルの正確な距離を測定し、モデルのロバストネスを評価する手法を提案する。非凸最適化問題を解くことで最近傍のフリップポイントを特定することで、距離制約付きの adversarial 攻撃手法が失敗するか、最小の摂動を逃す可能性があることから、モデルの真の最も弱い脆弱性を明らかにする。

ABSTRACT

Deep learning models have been the subject of study from various perspectives, for example, their training process, interpretation, generalization error, robustness to adversarial attacks, etc. A trained model is defined by its decision boundaries, and therefore, many of the studies about deep learning models speculate about the decision boundaries, and sometimes make simplifying assumptions about them. So far, finding exact points on the decision boundaries of trained deep models has been considered an intractable problem. Here, we compute exact points on the decision boundaries of these models and provide mathematical tools to investigate the surfaces that define the decision boundaries. Through numerical results, we confirm that some of the speculations about the decision boundaries are accurate, some of the computational methods can be improved, and some of the simplifying assumptions may be unreliable, for models with nonlinear activation functions. We advocate for verification of simplifying assumptions and approximation methods, wherever they are used. Finally, we demonstrate that the computational practices used for finding adversarial examples can be improved and computing the closest point on the decision boundary reveals the weakest vulnerability of a model against adversarial attack.

研究の動機と目的

• 非線形活性化関数を有する深層ニューラルネットワークにおける意思決定境界上の正確な点の計算の非効率性に対処すること。
• 線形近似や間接的な距離推定に依存する解釈可能性、一般化誤差、adversarial ロバストネスの研究における一般的な簡略化仮定に挑戦すること。
• 正確なフリップポイント計算を用いて、最近傍の adversarial 例を直接かつ計算的に実行可能な方法で同定すること。
• 現在用いられる距離制約付き adversarial 攻撃手法が、実行不能または部分最適解に陥る可能性があり、ロバストネス評価を損なうことを示すこと。

提案手法

• データ点と意思決定境界上の点との間のユークリッド距離を最小化する非凸最適化問題として、最近傍のフリップポイントを求める問題を定式化する。
• 未知の点において、元のクラスとターゲットクラスのソフトマックス出力が等しく、他のすべてのクラスの出力がそれ以下であるという制約を課す。
• 数値最適化手法を用いて制約付き非凸問題を解き、標準的な adversarial 攻撃手法と同等の計算コストを実現する。
• 与えられた方向に沿って最近傍のフリップポイントを効率的に計算するための二分探索アルゴリズムを適用する。
• ピクセルおよびウェーブレット係数入力を用いて訓練されたモデルに対して本手法を検証し、多クラスおよび離散特徴問題への適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 非線形活性化関数を有する深層ニューラルネットワークにおいて、問題の非凸性にもかかわらず、意思決定境界上の正確な点を計算できるか？
• RQ2 特に ReLU やその他の非線形活性化関数を用いる場合、真の境界が非常に非線形であるにもかかわらず、意思決定境界の線形近似はどの程度の性能を示すか？
• RQ3 距離制約を用いる現在の adversarial 攻撃手法が、実行不能性や部分最適性のため、真の最小摂動を特定できない程度にどの程度失敗するか？
• RQ4 データセット内の画像ごとに最近傍のフリップポイントまでの距離はどのように変動するか？ また、固定距離制約を用いたロバストネス評価にどのような影響を及えるか？
• RQ5 最近傍のフリップポイントを計算することで、導関数ベースやマージンベースの近似よりも、モデルの信頼性、特徴の影響、adversarial 脆弱性に関するより信頼性が高く情報量の多い指標を得られるか？

主な発見

• 最近傍のフリップポイント手法は、距離制約付き最適化で得られる例よりも顕著に近い adversarial 例を一貫して特定する。図10では、境界を越える距離が 0.494 よりもはるかに小さいことが示された。
• 距離制約付き adversarial 攻撃手法は、制約半径が小さすぎる場合に解が存在しない場合がある。図11では、最近傍のフリップポイントまでの距離が 2.14 の画像に対して 0.5 の半径制約が失敗した。
• 最近傍のフリップポイントへの方向と、損失最小化によって得られた adversarial 例への方向とのなす角度は、1 つのケースでわずか 12.7 度であった。これは、最近傍のフリップポイントが adversarial 脆弱性のより正確で情報量の多い方向を示していることを示している。
• データセット内の画像ごとに最近傍のフリップポイントまでの距離は大きく変動する（図12 参照）。これにより、すべての入力に対して一様な固定距離制約を用いたロバストネス評価は不適切であることが明らかになった。
• 最近傍のフリップポイントを求める計算コストは、標準的な adversarial 攻撃手法と同等であり、ロバストネス評価において実用的で優れた代替手法である。
• 本手法により、ソフトマックスマージンや勾配ベースの距離推定といった近似手法が、特に非線形領域では真の意思決定境界までの距離を過大評価する可能性があることが明らかになった。