[論文レビュー] Adversarial Risk Bounds via Function Transformation

Justin Khim, Po‐Ling Loh|arXiv (Cornell University)|Oct 22, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用数 30

ひとこと要約

本稿では、標準的な分類器を敵対的ロバストな分類器に変換する関数変換フレームワークを提案する。これにより、特にレーディンガー複雑度を用いた一般化誤差境界を、敵対的リスクに対して導出可能となる。主な貢献は、敵対的摂動下における線形およびニューラルネットワーク分類器に対して、証明可能に有界な一般化誤差を提示することであり、その誤差率は標準的一般化誤差と同程度のオーダーである。

ABSTRACT

We derive bounds for a notion of adversarial risk, designed to characterize the robustness of linear and neural network classifiers to adversarial perturbations. Specifically, we introduce a new class of function transformations with the property that the risk of the transformed functions upper-bounds the adversarial risk of the original functions. This reduces the problem of deriving bounds on the adversarial risk to the problem of deriving risk bounds using standard learning-theoretic techniques. We then derive bounds on the Rademacher complexities of the transformed function classes, obtaining error rates on the same order as the generalization error of the original function classes. We also discuss extensions of our theory to multiclass classification and regression. Finally, we provide two algorithms for optimizing the adversarial risk bounds in the linear case, and discuss connections to regularization and distributional robustness.

研究の動機と目的

• 深層学習における敵対的リスクの一般化境界の欠如に取り組むこと、特に線形およびニューラルネットワーク分類器に対して。
• 標準的な分類器を敵対的ロバストな分類器に変換する理論的枠組みを構築し、標準的な学習理論的手法の利用を可能にすること。
• 敵対的リスクを制御する変換関数クラスのレーディンガー複雑度の境界を導出することにより、一般化誤差の劣化を最小限に抑えること。
• 二値分類を超えて、多値分類および回帰への応用を拡大し、適用範囲を広げること。
• 提案されたフレームワークを正則化および分布的ロバストネスと結びつけ、実用的な最適化経路を提供すること。

提案手法

• ベース分類器 f を敵対的摂動を加えたバージョン Φf に写像する変換作用素 Φ を導入し、Φf のリスクが f の敵対的リスクを上界で抑えるようにする。
• 入力データの ε-ボール内での最悪ケース摂動をモデル化するため、上界に基づく変換を用い、敵対的ロバストネスを最悪ケースリスク問題として形式化する。
• 変換関数クラス Tℱ にレーディンガー複雑度理論を適用し、変換済み分類器の一般化誤差の境界を導出する。
• 有界差分不等式および対称化技術を用いて、変換クラスの複雑さを制御し、ℓ2 ノルムおよび摂動サイズ ε に明示的な依存関係を持つようにする。
• 集中不等式を用いて一般化誤差境界を導出し、自由パラメータ λ について最小化することで境界をタイトにする。その結果、次元 d に比例する √n スケーリングが得られる。
• 損失関数および変換構造を適切に変更することで、多値分類および回帰設定へのフレームワークの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 標準的な学習理論的手法を用いて、線形およびニューラルネットワーク分類器における敵対的リスクの一般化境界を導出可能か？
• RQ2 敵対的摂動下における元の関数クラスと比較して、変換関数クラス Tℱ のレーディンガー複雑度はどのように変化するか？
• RQ3 この変換フレームワークは、証明可能な誤差境界を伴って、多値分類および回帰に拡張可能か？
• RQ4 提案された敵対的リスク境界と、既存の正則化または分布的ロバスト最適化手法との関係は何か？
• RQ5 理論的境界は実際の最適化においてどのように最適化可能か？また、ロバストなモデルの学習にどのような影響を及えるか？

主な発見

• 変換関数クラス Tℱ のレーディンガー複雑度は、C(√(2d log 2) + 1)√n で有界であり、C は特徴量の ℓ2 ノルム、摂動サイズ ε、およびモデルパラメータに依存する。
• 変換済み分類器の一般化誤差境界は、標準的一般化誤差と同程度のオーダーであり、敵対的ロバストネスが顕著な一般化ペナルティを伴わないことを示している。
• 二値分類において、期待される敵対的リスクは、変換済み分類器の経験的リスクに加えて、O(1/√n) スケーリングの項が加わったもので上界が与えられ、R、ε、d を含む明示的な定数が関与する。
• フレームワークは二種類の境界を生み出す：元の損失関数に基づくものと、損失関数の有界版（例：min{1, ℓ}）を用いたもので、有限サンプル性能の向上が期待できる。
• 変換により、理論から導かれたアルゴリズムを用いて敵対的リスク境界を最適化可能であり、学習効率およびロバストネスの向上が見込まれる。
• このアプローチは多値分類および回帰問題に拡張可能であり、理論的保証が維持され、二値の場合と同様の一般化誤差スケーリングを保つ。