[論文レビュー] Is AmI (Attacks Meet Interpretability) Robust to Adversarial Examples?

Nicholas Carlini|arXiv (Cornell University)|Feb 6, 2019

Adversarial Robustness in Machine Learning参考文献 3被引用数 18

ひとこと要約

この論文は、解釈可能性を用いて重要なニューロンを特定し、元のネットワークと変更されたネットワークの予測を比較することで、敵対的入力を検出するAmI防御の評価を行う。本論文では、防御が堅牢であると主張されているが、防御に無関心な攻撃がℓ∞ノルムが0.01の非標的敵対的入力に対して100%の成功率で検出を回避できることを示しており、検出率は0%に低下し、防御の無効性を証明している。

ABSTRACT

No.

研究の動機と目的

• 解釈可能性を用いて顔認識における敵対的入力を検出するAmI防御の堅牢性を評価すること。
• 攻撃者が防御の存在を無知である弱い脅威モデル下でも、防御が有効であるかどうかを調査すること。
• 攻撃が失敗した場合に防御の主張の妥当性がどうなるかを強調し、厳密な評価の必要性を提起すること。
• 元のモデルに対する単純で高信頼度の標的攻撃でさえ、AmIによって検出を回避できることを示すこと。
• 攻撃の有効性を厳密に評価するため、ソースコードの公開を提唱し、防御研究における透明性を促進すること。

提案手法

• 著者たちは、AmI防御を完全に無視して、元の変更のないニューラルネットワークのみを用いて敵対的入力を生成する。
• ランダムに誤ったターゲットラベルを選択し、元のモデル上で高信頼度の標的敵対的入力を生成する。
• 敵対的入力を元のネットワークと拡張されたAmIネットワークの両方でテストする。両者が同じように分類する場合、検出を回避できたとみなす。
• 成功した回避が得られるまでこのプロセスを繰り返し、中央値として25回の試行が必要であった。
• 攻撃は防御に無関心であるため、AmI防御の構造や挙動に適応していない。
• この手法は、元のネットワークと拡張されたネットワークが予測を一致する場合、入力はAmIによって拒否されないという仮定に依存している。

実験結果

リサーチクエスチョン

• RQ1 防御に無関心な攻撃は、AmIの検出メカニズムを効果的に回避できるか？
• RQ2 ℓ∞ノルムが0.01の非標的敵対的入力に対して、AmI防御は堅牢か？
• RQ3 AmIではなぜ攻撃が敵対的入力を検出できないのか？これは防御の妥当性にどのような含意を持つのか？
• RQ4 AmIで用いられる解釈可能性技術の使用は、敵対的入力に対する堅牢性を真に向上させるのか？
• RQ5 元の防御論文に明確な脅威モデルが欠如している場合、どのような影響が正しくないセキュリティ評価を妨げるのか？

主な発見

• 非標的敵対的入力に対して、AmI防御の真正陽性率は0%であり、そのような入力を1つも検出できていない。
• 攻撃は検出回避に100%の成功率を達成しており、中央値として25回の試行が必要であった。
• 攻撃者が防御の存在を無知である弱い脅威モデル下でも、防御は完全に無効である。
• 検出率は、元の防御なしモデルの9.9%の偽陽性率を下回っており、性能が劣っていることを示している。
• 著者たちは、防御が主張する堅牢性が、最小限の仮定のもとで失敗するため、無効であると確認している。
• 攻撃が失敗しても明確な理由が示されない場合、防御の評価における自己欺瞞のリスクをこの研究は浮き彫りにしている。