[論文レビュー] Adversarial Examples on Object Recognition: A Comprehensive Survey

Alex Serban, Erik Poll+1 more|arXiv (Cornell University)|Aug 7, 2020

Adversarial Robustness in Machine Learning参考文献 180被引用数 11

ひとこと要約

この包括的なサーベイは、物体認識における adversarial examples を検討し、その原因、攻撃および防御手法、モデル間の転送性、および深層ニューラルネットワークにおけるセキュリティとロバストネスへの影響を分析する。本研究は現象を理解するための統一的なフレームワークを提供し、認証ロバストネスとスケーラブルな防御を達成するための未解決の課題を特定する。

ABSTRACT

Deep neural networks are at the forefront of machine learning research. However, despite achieving impressive performance on complex tasks, they can be very sensitive: Small perturbations of inputs can be sufficient to induce incorrect behavior. Such perturbations, called adversarial examples, are intentionally designed to test the network's sensitivity to distribution drifts. Given their surprisingly small size, a wide body of literature conjectures on their existence and how this phenomenon can be mitigated. In this article we discuss the impact of adversarial examples on security, safety, and robustness of neural networks. We start by introducing the hypotheses behind their existence, the methods used to construct or protect against them, and the capacity to transfer adversarial examples between different machine learning models. Altogether, the goal is to provide a comprehensive and self-contained survey of this growing field of research.

研究の動機と目的

• adversarial examples が物体認識に及ぼす影響を、その起源、メカニズム、および影響について包括的に網羅的に調査する。
• 安全・信頼性が求められる機械学習アプリケーションにおける adversarial examples に起因するセキュリティとロバストネスの懸念を分析する。
• 異なる機械学習モデルやアーキテクチャ間での adversarial examples の転送性を検討する。
• 既存の防御戦略を評価し、特に認証防御に関するロバストネス保証のギャップを同定する。
• 理論的基盤やスケーラブルなロバストトレーニング手法といった未解決の問題を特定することで、今後の研究を導く。

提案手法

• 白箱攻撃、ブラックボックス攻撃、クエリベース攻撃を含む、adversarial example 生成手法を体系的に分類する。
• その背後にあるメカニズムに基づき、adversarial training、入力前処理、認証防御の3つに防御技術を分類する。
• 1つのモデルに対して生成された adversarial examples が、異なるアーキテクチャを持つ他のモデルをも欺けるかどうかを評価することで、転送性を分析する。
• adversarial examples の存在に関する理論的仮説をレビューする。特に、高次元幾何学的性質や意思決定境界の感度に着目する。
• 現在の防御の限界を評価する。特に、適応的攻撃に対する脆弱性や、形式的ロバストネス保証の欠如に注目する。
• セキュリティと安全性への影響を現実世界の展開文脈に置き直すために、脅威モデルと運用シナリオの分類を導入する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク、特に物体認識分野における adversarial examples の背後にある根本的要因は何か？
• RQ2 adversarial examples はどのように異なる機械学習モデル間で転送されるのか？ これはモデルのセキュリティにどのような意味を持つのか？
• RQ3 既存の防御手法はどれほど adversarial attacks に対してロバスト性を提供できるのか？ その限界は何か？
• RQ4 大規模モデルに適したスケーラブルかつ効果的な認証防御を開発するにあたり、主な課題は何か？
• RQ5 安全・信頼性が求められるアプリケーションにおいて、adversarial robustness はどのように意味的に測定され、検証可能か？

主な発見

• adversarial examples は、アーキテクチャにかかわらず、さまざまなモデル間で顕著に転送可能であり、深層ニューラルネットワークに普遍的な脆弱性が存在することを示している。
• 広範な研究にもかかわらず、形式的検証が施された防御を含め、すべての既知の防御は適応的攻撃によって破壊されており、現在の解決策の脆さを浮き彫りにしている。
• 認証防御は明確なロバストネスの境界を提供するが、現在のところ計算コストの高さとスケーラビリティの問題により制限を受けている。
• adversarial examples の現象は、現在の理論では完全に説明されておらず、その存在に関する普遍的に受け入れられた仮説は存在しない。
• adversarial examples は、深層学習モデルが高次元空間で動作しており、微小な摂動が大きな影響を及ぼすことを明らかにしている。これは人間の知覚とは対照的である。
• 現在の機械学習モデルには、合理的でゆっくりとした思考プロセスが欠如しているため、adversarial examples に対して脆弱である。これに対して、人間は錯覚を検出し、是正できる。