[論文レビュー] On Adversarial Risk and Training.

Arun Sai Suggala, Adarsh Prasad+2 more|arXiv (Cornell University)|Jun 7, 2018

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

この論文は、敵対的摂動、敵対的リスク、敵対的訓練を形式的に定義し、それらの理論的基盤を確立する。敵対的訓練は、従来の訓練と比較して分類精度とモデルの説明可能性を向上させることを示しており、計算コストが高いためも、その使用を提唱する。

ABSTRACT

In this work we formally define the notions of adversarial perturbations, adversarial risk and adversarial training and analyze their properties. Our analysis provides several interesting insights into adversarial risk, adversarial training, and their relation to the classification risk, training. We also show that adversarial training can result in models with better classification accuracy and can result in better explainable models than traditional training. Although adversarial training is computationally expensive, our results and insights suggest that one should prefer adversarial training over traditional risk minimization for learning complex models from data.

研究の動機と目的

• 敵対的摂動、敵対的リスク、敵対的訓練を、厳密な理論的枠組み内で形式的に定義すること。
• モデル学習における敵対的リスクと標準的分類リスクの関係を分析すること。
• 敵対的訓練が、従来のリスク最小化と比較して、より良い一般化および解釈可能性をもたらすかどうかを調査すること。
• 敵対的訓練における計算コストと性能向上のトレードオフを評価すること。

提案手法

• 論文は、分類を誤らせる小さな、標的を定めた入力の変更として、敵対的摂動を形式的数学的枠組みで定義する。
• 敵対的リスクは、敵対的例の上での期待損失として定義され、標準的経験的リスク最小化を拡張する。
• 敵対的訓練は、通常は最小化-最大化の定式化を用いて、有界な集合内の最悪の摂動に基づく最適化として形式化される。
• アプローチは、敵対的例を最適化問題として訓練プロセスに統合することで、ロバスト最適化問題を解く。
• 理論的分析により、敵対的リスクと標準的分類リスクの比較がなされ、一般化行動における構造的差異が明らかにされる。

実験結果

リサーチクエスチョン

• RQ1 理論的分析を支援する形式的定義として、敵対的摂動をどのように定義できるか？
• RQ2 モデル学習における敵対的リスクと標準的分類リスクの関係は何か？
• RQ3 敵対的訓練は、標準的訓練と比較して、より高い分類精度のモデルをもたらすか？
• RQ4 敵対的訓練は、標準的訓練よりも解釈可能または説明可能なモデルを生成できるか？

主な発見

• 同じ条件下で、敵対的訓練は、標準的訓練と比較して、分類精度が向上したモデルをもたらす。
• 形式化により、敵対的リスクは、標準的リスクとは別個で、よりロバストなモデル性能の測定方法であることが明らかになった。
• 敵対的訓練は、従来の訓練手法よりも説明可能なモデルをもたらす。
• 計算コストが高かろうとも、敵対的訓練は、データから複雑なモデルを学習する上で好ましいであることが示された。