[論文レビュー] Robustness to Adversarial Examples through an Ensemble of Specialists

Mahdieh Abbasi, Christian Gagné|arXiv (Cornell University)|Feb 22, 2017

Adversarial Robustness in Machine Learning被引用数 18

ひとこと要約

本稿では、敵対的誤差率を低下させるために、敵対的誤り行列から導出された混乱しやすいクラスのサブセットに特化したCNNをトレーニングし、低信頼度の予測を拒否する投票メカニズムを用いる「スペシャリスト+1アンサンブル」手法を提案する。この手法は、誤分類された例を低信頼度にシフトさせることで、最適なしきい値でクリーンサンプルの正確性を損なわずに効果的な拒否を可能にし、敵対的例に対するロバスト性を著しく向上させる。

ABSTRACT

We are proposing to use an ensemble of diverse specialists, where speciality is defined according to the confusion matrix. Indeed, we observed that for adversarial instances originating from a given class, labeling tend to be done into a small subset of (incorrect) classes. Therefore, we argue that an ensemble of specialists should be better able to identify and reject fooling instances, with a high entropy (i.e., disagreement) over the decisions in the presence of adversaries. Experimental results obtained confirm that interpretation, opening a way to make the system more robust to adversarial examples through a rejection mechanism, rather than trying to classify them properly at any cost.

研究の動機と目的

• 人間には見えないが誤分類を引き起こす敵対的例に対する深層ニューラルネットワークの脆弱性を解消すること。
• 通常の敵対的トレーニングには、クリーンな正確性を損なう傾向があり、未知の敵対的タイプには効果を示さないという限界を克服すること。
• 未知のまたはだましの入力を誤分類するのではなく拒否すべきであるという観点から、敵対的例検出をオープンセット認識問題として定式化すること。
• 敵対的誤りパターンから導出されたクラスサブセットに特化したアンサンブルを構築することで、だます入力をより効果的に検出・識別するロバスト性の向上を図ること。

提案手法

• Fast Gradient Sign (FGS)敵対的攻撃の誤り行列から導出されたクラスサブセットに、各スペシャリストをトレーニングする。各サブセットは、特定のクラスの80％以上の誤りをカバーする。
• 誤り行列駆動のサブセット選択により、各元のクラスに対して「混乱しやすいターゲットクラス（U_i）」と「残りのクラス（U_{i+K}）」を特定する。
• アンサンブルには、K体のスペシャリスト（各クラス1体ずつ）と、すべてのクラスにトレーニングされた1体の一般化CNN（ジェネラリスト）が含まれる。
• 最終予測は投票メカニズムで計算される：あるクラスに最大の期待得票（K+1）が集まった場合、そのクラスに関連するスペシャリストとジェネラリストのみが使用される。それ以外の場合は、すべてのモデルが寄与する。
• 信頼度しきい値を用いて低信頼度の予測を拒否する。特に敵対的例に対して有効であり、誤差率の低下に寄与する。
• 投票におけるモデルの不一致（高いエントロピー）を、敵対的入力検出のシグナルとして活用し、誤分類ではなく拒否を可能にする。

実験結果

リサーチクエスチョン

• RQ1 敵対的誤り行列から導出されたクラスサブセットに特化したスペシャリストのアンサンブルは、標準CNNや純粋なアンサンブルと比較して、敵対的例に対するロバスト性を向上させることができるか？
• RQ2 信頼度ベースの拒否を組み込んだ提案された投票メカニズムは、クリーンサンプルの正確性を損なわず、敵対的入力を効果的に検出し拒否できるか？
• RQ3 スペシャリスト+1アンサンブルは、MNISTおよびCIFAR-10において、さまざまな敵対的攻撃タイプ（例：FGS、DeepFool、Szegedy）に対してどれほど誤差率を低下させるか？
• RQ4 予測の信頼度に基づいて、敵対的例とクリーンサンプルを区別する拒否メカニズムの性能はどの程度か？
• RQ5 従来の手法が同定できない「検出が難しい」敵対的攻撃（例：FGSやDeepFool）に対しても、本手法は検出可能か？

主な発見

• スペシャリスト+1アンサンブルは、ナーブなCNN* や純粋なアンサンブルと比較して、敵対的誤差率（E_A）を著しく低下させる。特に信頼度しきい値τ = 0.5のとき、低信頼度の敵対的予測の拒否が有効に機能している。
• τ = 0.5のとき、FGSおよびDeepFool敵対的攻撃の誤差率が、スペシャリスト+1アンサンブルで急激に低下しており、誤分類された敵対的例の多くが低信頼度にシフトされ、拒否されていることが示唆される。
• スペシャリスト+1モデルでは、τ = 0.5で敵対的例の拒否率が急激に上昇し、速やかに高い水準に達する。一方、純粋なアンサンブルでは、遅く、単調に増加する。
• クリーンサンプルの誤差率（E_D）は、τ = 0.5でわずかに上昇するが、より高いしきい値を用いることでこのトレードオフは管理可能である。
• Szegedy敵対的攻撃は、モデル間での一般化が限定的であり、スペシャリスト+1アンサンブルはτ = 0.5以降、E_Aの増加が最小限に抑えられ、転送可能な攻撃に対してもロバストであることが示された。
• 本手法は、従来の手法が同定に失敗する「検出が難しい」敵対的例（例：FGSおよびDeepFool）に対しても、効果的に検出・拒否でき、先行手法を上回る性能を示した。