[論文レビュー] Theoretical evidence for adversarial robustness through randomization: the case of the Exponential family.

Rafaël Pinot, Laurent Meunier+5 more|arXiv (Cornell University)|Feb 4, 2019

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本論文は、推論時における指数型分布からのノイズ注入を用いた敵対的ロバストネスの理論的裏付けを初めて提供する。特に、ランダム化率とロバストネスの間の明確な関係を確立し、従来の経験的成果を統合的かつ拡張的に解釈する理論的枠組みを構築する。

ABSTRACT

This paper investigates the theory of robustness against adversarial attacks. It focuses on the family of randomization techniques that consist in injecting noise in the network at inference time. These techniques have proven effective in many contexts, but lack theoretical arguments. We close this gap by presenting a theoretical analysis of these approaches, hence explaining why they perform well in practice. More precisely, we provide the first result relating the randomization rate to robustness to adversarial attacks. This result applies for the general family of exponential distributions, and thus extends and unifies the previous approaches. We support our theoretical claims with a set of experiments.

研究の動機と目的

• ランダム化に基づく防御に対する理論的理解の不足を解消すること。
• ランダム化の割合と敵対的例に対するロバストネスの間の正式な関係を確立すること。
• 指数型分布に基づく一貫した理論的枠組みの下で、既存のランダム化手法を統合・一般化すること。
• 推論時ノイズ注入による経験的成果の理論的裏付けを提供すること。

提案手法

• 著者らは、学習時ではなく推論時に指数型分布からのノイズを注入するランダム化手法を分析する。
• 指数型分布の性質を用いて、モデルのロバストネスとランダム化率の間の理論的境界を導出する。
• 濃度不等式と指数型分布の構造を活用し、ロバストネスの向上を定量的に評価する。
• 弱い正則性条件のもとで、ガウス分布やラプラス分布を含む広範なモデルおよびノイズ分布のクラスに適用可能である。
• 標準ベンチマーク上での経験的実験により、理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化の割合は、深層ニューラルネットワークにおける敵対的ロバストネスにどのように影響するか？
• RQ2 推論時ランダム化の成功を説明する理論的枠組みを構築できるか？
• RQ3 指数型分布族は、既存のランダム化ベースの防御をどの程度統合的に説明できるか？
• RQ4 ノイズ分布のパラメータとロバストネス保証の間の数学的関係は何か？

主な発見

• 本論文は、ランダム化率と敵対的ロバストネスの間の正式な理論的関係を確立し、より高いランダム化率がロバストネスを向上させることを示した。
• 理論的分析は指数型分布族全体に適用可能であり、ガウス分布やラプラス分布に対する既存の結果を統合的に扱える。
• 導出された境界は、敵対的訓練を行わないモデルに対してもロバストネスを提供可能であることを示している。
• 経験的結果は理論的予測を裏付け、複数のデータセットおよびアーキテクチャにおいて一貫したロバストネスの向上が確認された。