[論文レビュー] Towards A Unified Min-Max Framework for Adversarial Exploration and Robustness

Jingkang Wang, Tianyun Zhang+5 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用数 21

ひとこと要約

本稿では、標準的な adversarial training を超えて、アンサンブル攻撃、ユニバーサルノイズ、一般化されたロバストネスなど、多様な問題を扱うための統一された min-max 最適化フレームワークを提案する。適応的ドメイン重みの学習により、平均化戦略を上回る性能を発揮するとともに、攻撃と防御の難易度に関する解釈可能なインサイトを提供する。

ABSTRACT

The worst-case training principle that minimizes the maximal adversarial loss, also known as adversarial training (AT), has shown to be a state-of-the-art approach for enhancing adversarial robustness against norm-ball bounded input perturbations. Nonetheless, min-max optimization beyond the purpose of AT has not been rigorously explored in the research of adversarial attack and defense. In particular, given a set of risk sources (domains), minimizing the maximal loss induced from the domain set can be reformulated as a general min-max problem that is different from AT. Examples of this general formulation include attacking model ensembles, devising universal perturbation under multiple inputs or data transformations, and generalized AT over different types of attack models. We show that these problems can be solved under a unified and theoretically principled min-max optimization framework. We also show that the self-adjusted domain weights learned from our method provides a means to explain the difficulty level of attack and defense over multiple domains. Extensive experiments show that our approach leads to substantial performance improvement over the conventional averaging strategy.

研究の動機と目的

• 標準的な adversarial training を超える、原理的で統一的な min-max 最適化フレームワークの欠如に取り組むこと。
• モデルアンサンブルの攻撃やユニバーサルノイズの生成といった、多様な adversarial タスクに一般化された min-max 制約を提供すること。
• 攻撃と防御の難易度を複数のドメインにわたって説明可能な自己調整型ドメイン重みを学習する手法を開発すること。
• 複数ドメインの adversarial 環境において、従来の平均化戦略を上回る性能を実現すること。

提案手法

• リスク源（ドメイン）の集合上で、adversarial robustness と探索性を一般化された min-max 最適化問題として定式化する。
• 標準的な adversarial training、アンサンブル攻撃、ユニバーサルノイズ生成を1つの最適化構造に統合する統一フレームワークを導入する。
• 最適化によりエンドツーエンドでドメイン固有の重みを学習し、各ドメインの難易度に応じてモデルが自己調整できるようにする。
• 内側の最大化が複数ドメインにわたる最悪ケースの摂動を特定し、外側の最小化がモデルのロバストネスを向上させる min-max 目的関数を用いる。
• 多入力、多変換、多攻撃モデルのロバストネスといった、多様なタスクにフレームワークを適用する。
• 学習されたドメイン重みが内在的な攻撃・防御の難易度と相関しており、解釈可能性を提供することを示す。

実験結果

リサーチクエスチョン

• RQ1 1つの min-max フレームワークが、ロバストネス訓練、アンサンブル攻撃、ユニバーサルノイズ生成といった多様な adversarial タスクを統一的に扱えるか？
• RQ2 フレームワーク内で学習される自己調整型ドメイン重みは、異なるドメインにおける攻撃・防御の相対的難易度をどのように反映するか？
• RQ3 提案されたフレームワークは、複数ドメインの adversarial 環境において、従来の平均化戦略を上回る性能を発揮するか？
• RQ4 学習されたドメイン重みが、adversarial 例の難易度に関する解釈可能なインサイトをどの程度提供できるか？
• RQ5 このフレームワークは、異種の攻撃モデルに対する一般化された adversarial training に効果的に応用可能か？

主な発見

• 提案された統一された min-max フレームワークは、複数ドメインの adversarial タスクにおいて、従来の平均化戦略を著しく上回る性能向上を達成した。
• 本手法が学習する自己調整型ドメイン重みは、攻撃・防御の内在的難易度と相関しており、adversarial robustness に関する解釈可能性を提供する。
• フレームワークは、アンサンブル攻撃やユニバーサルノイズ生成を含む多様な adversarial シナリオに一般化可能であり、一貫した改善を示した。
• 本手法は、標準的な adversarial training を超える原理的で整合性のあるロバストネスのアプローチを可能にする。
• 実験結果から、本フレームワークは、多様なドメイン構成において、ロバストネスと探索性の両面で既存手法を上回ることが示された。