[論文レビュー] Mixture of Robust Experts (MoRE): A Flexible Defense Against Multiple Perturbations.

Hao Cheng, Kaidi Xu+4 more|arXiv (Cornell University)|Apr 21, 2021

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

Mixture of Robust Experts (MoRE) は、特定の摂動タイプまたはクリーンデータのための専門化されたエキスパートネットワークの動的アンサンブルを提案する。各エキスパートは、入力タイプに応じて適応的な重みを割り当てるトレーナブルなゲーティングモジュールによって制御される。ゲーティングネットワークとエキスパートヘッドを敵対的訓練により同時に訓練することで、MoRE は、敵対的例や悪天候を含む多様な摂動に対して優れた耐性を達成するとともに、勾配の錯覚を軽減する。

ABSTRACT

To tackle the susceptibility of deep neural networks to adversarial examples, the adversarial training has been proposed which provides a notion of security through an inner maximization problem presenting the first-order adversaries embedded within the outer minimization of the training loss. To generalize the adversarial robustness over different perturbation types, the adversarial training method has been augmented with the improved inner maximization presenting a union of multiple perturbations e.g., various $\ell_p$ norm-bounded perturbations. However, the improved inner maximization only enjoys limited flexibility in terms of the allowable perturbation types. In this work, through a gating mechanism, we assemble a set of expert networks, each one either adversarially trained to deal with a particular perturbation type or normally trained for boosting accuracy on clean data. The gating module assigns weights dynamically to each expert to achieve superior accuracy under various data types e.g., adversarial examples, adverse weather perturbations, and clean input. In order to deal with the obfuscated gradients issue, the training of the gating module is conducted together with fine-tuning of the last fully connected layers of expert networks through adversarial training approach. Using extensive experiments, we show that our Mixture of Robust Experts (MoRE) approach enables flexible integration of a broad range of robust experts with superior performance.

研究の動機と目的

• 既存の敵対的訓練手法が複数の多様な摂動タイプを処理する際の柔軟性が限られている問題に対処すること。
• 敵対的例や悪天候条件を含む多様な摂動に対して耐性を高めつつ、クリーンデータの精度を損なわないこと。
• エキスパート選択のためのゲーティング機構を訓練する際の勾配の錯覚問題を克服すること。
• 特定の摂動タイプまたはクリーンデータのための訓練が行われた多様な耐性エキスパートを柔軟に統合できること。
• クリーン入力、敵対的入力、摂動付き入力のすべてにおいて、動的エキスパート重み付けにより優れた性能を達成すること。

提案手法

• ゲーティングネットワークは、入力タイプに応じてエキスパートネットワークの集合に対して注意重みを動的に割り当てる。
• 各エキスパートは、特定の摂動タイプ（例：ℓp-有界）に対して敵対的訓練されたものか、クリーンデータの精度を向上させるために通常訓練されたものである。
• ゲーティングモジュールは、エキスパートの最終全結合層と同時に訓練され、勾配の錯覚を防ぐ。
• 特殊なエキスパートを統合することで、単一の統合フレームワーク内で広範な摂動タイプをカバーできる。
• エキスパートヘッドのファインチューニング中に敵対的訓練を適用することで、ゲーティング機構の耐性と安定性を確保する。
• アーキテクチャは、システム全体を再トレーニングせずに、新しい摂動タイプのための新しいエキスパートを柔軟にモジュール化して統合できる。

実験結果

リサーチクエスチョン

• RQ1 特定の摂動タイプに特化して訓練されたエキスパートの動的アンサンブルは、多様な摂動においてモノリシックな敵対的訓練を上回る性能を発揮できるか？
• RQ2 敵対的例の存在下で、勾配の錯覚に陥らないように効果的にゲーティング機構を訓練する方法は何か？
• RQ3 MoRE は、複数の摂動タイプに対して耐性を発揮しつつ、高いクリーン精度をどの程度維持できるか？
• RQ4 フレームワークは、新しい摂動パターンのための新しいエキスパートタイプを柔軟に拡張できるか？
• RQ5 混合入力条件下での耐性と精度の観点から、MoRE は標準の敵対的訓練およびアンサンブル手法と比べてどのように差をつけるか？

主な発見

• MoRE は、ℓp-有界の敵対的攻撃や悪天候による劣化を含む、複数の摂動タイプにおいて最先端の耐性精度を達成した。
• クリーン入力では非敵対的エキスパートに高い重みを割り当てることで、高いクリーンデータ精度を維持した。
• ゲーティングネットワークとエキスパートヘッドの同時訓練により、アンサンブル防御で一般的に見られる勾配の錯覚問題が効果的に軽減された。
• 動的ゲーティング機構により、エキスパートの専門性を活かした適応的ルーティングが可能となり、未確認またはレアな摂動タイプに対しても性能が向上した。
• 広範な実験により、MoRE が標準の敵対的訓練および固定アンサンブルベースラインと比較して、優れた一般化性能と耐性を示すことが確認された。
• フレームワークはモジュール式の拡張をサポートしており、システム全体を再トレーニングせずに、新しい摂動タイプのための新しいエキスパートを追加可能である。