[論文レビュー] Adversarial Robustness through Regularization: A Second-Order Approach.

Avery Ma, Fartash Faghri+1 more|arXiv (Cornell University)|Apr 4, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、2次テイラー展開を用いて内側の最大化（inner-max）の adversarial loss を近似することで、堅牢最適化の上界を提供する2次の adversarial regularizer（SOAR）を提案する。CIFAR-10 において、標準的な adversarial training よりも向上した堅牢な正確性を達成する。

ABSTRACT

Adversarial training is a common approach to improving the robustness of deep neural networks against adversarial examples. In this work, we propose a novel regularization approach as an alternative. To derive the regularizer, we formulate the adversarial robustness problem under the robust optimization framework and approximate the loss function using a second-order Taylor series expansion. Our proposed second-order adversarial regularizer (SOAR) is an upper bound based on the Taylor approximation of the inner-max in the robust optimization objective. We empirically show that the proposed method improves the robustness of networks on the CIFAR-10 dataset.

研究の動機と目的

• 深層ニューラルネットワークが adversarial examples に対して脆弱であるという問題に取り組む。
• 従来の adversarial training の代替として、正則化に基づく手法を開発する。
• より良い一般化を実現するため、堅牢最適化の目的関数の2次近似を導出する。
• テイラー展開を用いて、adversarial loss に対するよりタイトな上界を提供する。
• CIFAR-10 などの標準ベンチマーク上で、向上した堅牢性を実証的に検証する。

提案手法

• adversarial robustness を堅牢最適化フレームワーク内で定式化する。
• 入力データポイントの周囲で、内側の最大化 adversarial loss を2次テイラー級数展開で近似する。
• テイラー近似に基づいて、真の adversarial loss の上界として機能する正則化子を導出する。
• 標準的な学習目的関数に2次正則化子を統合し、堅牢性を向上させる。
• 新しい正則化損失関数を用いて、標準的なバックプロパゲーションでネットワークを最適化する。
• 正則化子が損失の曲率情報を捉えるようにし、adversarial パーティクルのモデル化をより良くする。

実験結果

リサーチクエスチョン

• RQ1 adversarial loss の2次テイラー近似は、1次手法よりもタイトで効果的な正則化子を提供できるか？
• RQ2 提案された2次正則化子は、標準的な adversarial training を超えて堅牢な一般化を向上させるか？
• RQ3 曲率を考慮した正則化子は、CIFAR-10 などの標準ベンチマークにおける堅牢正確性にどのように影響するか？
• RQ4 2次正則化子は、標準的な深層ネットワークに対して計算的に実行可能でスケーラブルか？
• RQ5 テイラー展開から導かれた上界は、adversarial 攻撃に対してモデルを効果的に制約できるか？

主な発見

• 提案された2次 adversarial regularizer（SOAR）は、1次近似よりも adversarial loss のよりタイトな上界を提供する。
• CIFAR-10 データセットにおいて、標準的な adversarial training よりも SOAR が堅牢な正確性を向上させる。
• 2次近似は曲率情報を捉えるため、adversarial パーティクルに対する一般化が向上する。
• 学習中に反復的な adversarial 攻撃の生成を必要とせず、堅牢性が向上する。
• 正則化子は計算的に効率的であり、標準的なディープラーニングの学習パイプラインと互換性がある。
• 実証的結果から、2次アプローチが CIFAR-10 におけるベースライン手法を上回る adversarial robustness を達成することが確認された。