[論文レビュー] A Survey of Neural Trojan Attacks and Defenses in Deep Learning

Jie Wang, Ghulam Mubashar Hassan+1 more|arXiv (Cornell University)|Feb 15, 2022

Adversarial Robustness in Machine Learning被引用数 14

ひとこと要約

本調査は、深層学習におけるニューラルトロイの攻撃と防御について包括的かつ最新のレビューを提供しており、バックドア注入および検出のための最近の技術を体系的に分類している。トレーラーなしおよび動的バックドアといった新たな脅威を強調し、モデルの複雑さと第三者の関与による検出の難しさを特定している。

ABSTRACT

Artificial Intelligence (AI) relies heavily on deep learning - a technology that is becoming increasingly popular in real-life applications of AI, even in the safety-critical and high-risk domains. However, it is recently discovered that deep learning can be manipulated by embedding Trojans inside it. Unfortunately, pragmatic solutions to circumvent the computational requirements of deep learning, e.g. outsourcing model training or data annotation to third parties, further add to model susceptibility to the Trojan attacks. Due to the key importance of the topic in deep learning, recent literature has seen many contributions in this direction. We conduct a comprehensive review of the techniques that devise Trojan attacks for deep learning and explore their defenses. Our informative survey systematically organizes the recent literature and discusses the key concepts of the methods while assuming minimal knowledge of the domain on the readers part. It provides a comprehensible gateway to the broader community to understand the recent developments in Neural Trojans.

研究の動機と目的

• 深層学習における最近のニューラルトロイ攻撃および防御技術について、体系的かつ最新のレビューを提供すること。
• トレーニングおよびデプロイメントにおける第三者の関与によって生じる、深層学習モデルの主な脆弱性を特定および分析すること。
• トレーラーなしおよび動的バックドアのような高度な攻撃を踏まえて、既存の検出手法の限界を検討すること。
• 特に音声や自然言語処理（NLP）などの視覚的でない分野における未だ十分に検討されていない研究方向性を強調すること。
• 分野の知識がほとんどない研究者にとって、ニューラルトロイ研究の現状を理解するための入り口として機能すること。

提案手法

• 本調査は、トップクラスの機械学習およびコンピュータビジョンの会議（例：CVPR、ICCV、NeurIPS、ICLR）で発表された最近の研究を体系的に文献レビューしている。
• 攻撃のベクトル（例：データ汚染、モデル操作、事前学習済みモデルの改ざん）に基づいてトロイ攻撃手法を分類し、防御メカニズムも分類している。
• 特に視覚モデルにおいて、トリガーの見えにくさ、頑健性、成功確率の観点からトリガーの有効性を分析している。
• モデルへのアクセスが制限されるブラックボックス環境における検出の課題を評価している。この環境ではクエリベースのプローブが脆弱性を露呈する可能性がある。
• アーキテクチャ的およびデータレベルの防御について議論しており、活性化クラスタリング、勾配ベースの分析、入力のクリーニングを含む。
• トリガー設計の重要性と、効果的なトロイの埋め込みに必要な最小限のデータ汚染の必要性を強調している。

実験結果

リサーチクエスチョン

• RQ1 モデルトレーニングにおける第三者の関与や外部委託は、ニューラルトロイ攻撃への感受性をどのように高めているか？
• RQ2 深層学習モデルにおける効果的で検出困難なトロイのトリガーの主な特徴は何か？
• RQ3 トレーラーなしおよび動的バックドアのような最新の攻撃が、既存の防御メカニズムに対して特に挑戦的である理由は何か？
• RQ4 音声やNLPなどの視覚的でない分野におけるトロイ攻撃は、画像ベースのモデルにおける攻撃とどのように異なるか？
• RQ5 高度なニューラルトロイ脅威に対する検出および防御を改善するための、最も有望な今後の研究方向性は何か？

主な発見

• ニューラルトロイ攻撃は、特に従来の検出手法を回避するトレーラーなしおよび動的バックドア技術の登場により、ますます効果的かつ隠蔽性が高まっている。
• データ収集、トレーニング、またはモデルデプロイメントにおける第三者の関与は、ユーザーの承知のうちにバックドアが注入されるリスクを顕著に高めている。
• 現代のトリガーが微妙で適応的であるため、既存の防御手法の多くは高度な攻撃に対して失敗する。特にトリガーがランダム化されたり、存在しない場合に顕著である。
• 現在の研究の大部分は視覚モデルに集中しており、音声、NLP、グラフベースのモデルにおけるトロイ攻撃の理解と防御の分野には大きな空白が残っている。
• 攻撃効果を高めるとともに検出への耐性を強化するため、最小限のデータ汚染と適応的トリガー設計に関するさらなる研究が不可欠である。
• 本調査は、学術的関心の増加が顕著であることを確認しており、トップクラスのAIおよびML会議での論文発表数の増加は、この分野の重要性の上昇を示している。