[論文レビュー] Adversarial Attacks, Regression, and Numerical Stability Regularization

André T. Nguyen, Edward Raff|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用数 19

ひとこと要約

本論文は、学習関数における数値的不安定性に着目することで、回帰ニューラルネットワークにおける adversarial 攻撃に対する正則化ベースの防御を提案する。大きな勾配をペナルティ化し、関数の滑らかさを向上させる安定性誘導正則化項を導入することにより、敵対的摂動に対してより高い耐性を示すとともに、モデルの安定性も向上させる。実験的評価では、AAAI 2019 ウォークアップで報告された先行手法を上回る性能を発揮した。

ABSTRACT

Adversarial attacks against neural networks in a regression setting are a critical yet understudied problem. In this work, we advance the state of the art by investigating adversarial attacks against regression networks and by formulating a more effective defense against these attacks. In particular, we take the perspective that adversarial attacks are likely caused by numerical instability in learned functions. We introduce a stability inducing, regularization based defense against adversarial attacks in the regression setting. Our new and easy to implement defense is shown to outperform prior approaches and to improve the numerical stability of learned functions.

研究の動機と目的

• 回帰ニューラルネットワークにおける adversarial 攻撃という未だ十分に検討されていない問題に取り組む。
• adversarial 脆弱性の根本的原因が、学習関数における数値的不安定性であると特定する。
• 数値的安定性と耐性を向上させる実用的で効果的な防御機構を開発する。
• 回帰タスクにおける微小な入力摂動に対する一般化性能と耐性を向上させる。
• 既存の回帰モデルに簡単に統合可能な、シンプルだが効果的な正則化技術を提供する。

提案手法

• 本手法は、入力摂動に対する出力の大きな勾配をペナルティ化する新しい正則化項を導入する。
• 正則化は、モデルのリプシッツ定数に基づくもので、滑らかでより安定した関数近似を促進する。
• 損失関数に、入力の微小な変化に対して出力が小さくなるように促す項を追加することで、数値的安定性を向上させる。
• 標準的なバックプロパゲーション訓練中に適用可能な微分可能正則化項として実装される。
• 本手法は回帰ベンチマークで評価され、既存の adversarial 訓練および防御手法と比較される。
• 本手法は軽量であり、アーキテクチャの変更なしに標準的なディープラーニングフレームワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 回帰ネットワークにおける adversarial 攻撃は、根本的な数値的不安定性に着目することで、効果的に軽減可能か？
• RQ2 関数の滑らかさを促進する正則化ベースのアプローチは、回帰における既存の adversarial 訓練手法と比較してどのように異なるか？
• RQ3 数値的安定性を向上させることで、回帰タスクにおける adversarial 摂動に対する耐性はどの程度向上するか？
• RQ4 シンプルで微分可能な正則化項は、性能を損なわせることなく、耐性と安定性の両方を向上させることができるか？
• RQ5 提案手法は、さまざまな回帰データセットおよびモデルアーキテクチャに一般化可能か？

主な発見

• 提案された正則化防御は、ベースライン手法と比較して、回帰タスクにおける adversarial 攻撃に対する耐性を顕著に向上させる。
• 本手法は、微小な入力摂動に対するモデルの感受性を低減し、数値的安定性が向上していることを示している。
• 実験的結果から、本防御は標準的な adversarial 訓練や他の正則化技術を上回り、敵対的摂動下でも精度を維持する。
• 正則化項は効果的にモデルのリプシッツ定数を低減し、滑らかな関数近似を実現している。
• 本防御は複数の回帰データセットおよびモデルアーキテクチャで有効であり、広範な適用可能性を示している。
• 本手法は、アーキテクチャの変更や複雑な訓練手順を必要とせず、耐性を向上させることができる。