[論文レビュー] Connecting the Dots: Detecting Adversarial Perturbations Using Context Inconsistency

Shasha Li, Shitong Zhu+6 more|arXiv (Cornell University)|Jul 19, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用数 5

ひとこと要約

本稿では、空間的、オブジェクト同士、オブジェクトと背景、およびオブジェクトとシーンの文脈における不一致を測定することで、敵対的摂動を特定する文脈に配慮した敵対的検出手法SCEMEを提案する。正常な文脈分布をモデル化するクラス固有のオートエンコーダーを訓練することで、再構成誤差が大きい領域を誤分類と特定し、PASCAL VOCおよびMS COCOで0.95以上のAUCを達成した。これは、文脈に依存しない最先端手法と比較して20–35%高い性能を示した。

ABSTRACT

There has been a recent surge in research on adversarial perturbations that defeat Deep Neural Networks (DNNs) in machine vision; most of these perturbation-based attacks target object classifiers. Inspired by the observation that humans are able to recognize objects that appear out of place in a scene or along with other unlikely objects, we augment the DNN with a system that learns context consistency rules during training and checks for the violations of the same during testing. Our approach builds a set of auto-encoders, one for each object class, appropriately trained so as to output a discrepancy between the input and output if an added adversarial perturbation violates context consistency rules. Experiments on PASCAL VOC and MS COCO show that our method effectively detects various adversarial attacks and achieves high ROC-AUC (over 0.95 in most cases); this corresponds to over 20% improvement over a state-of-the-art context-agnostic method.

研究の動機と目的

• シーンレベルの文脈に反する形でオブジェクトを誤分類する深層ニューラルネットワークの敵対的摂動に対する脆弱性を是正すること。
• 分類の信頼度に依存せず、オブジェクトとその周囲の文脈的関係を活用することで、敵対的検出を向上させること。
• オブジェクト検出システムにおいて、デジタルおよび物理的敵対的攻撃の両方に対して効果的な防御機構を開発すること。
• 文脈の不一致が、特にシーン内で共起しにくいオブジェクトに誤って分類された場合に、敵対的例を検出するための信頼できるシグナルであることを示すこと。
• 検出パイプラインに包括的なシーン文脈を取り入れることで、文脈に依存しない検出手法を上回ること。

提案手法

• 提案されたオブジェクト領域と、全体のシーンを表すスーパーエリアノードを含む完全連結グラフを構築する。
• 各ノードには、ノード特徴量（領域特徴量）とエッジ特徴量（領域間の文脈的関係）からなる文脈プロファイルが割り当てられる。
• 各オブジェクトクラスに対して、クリーンデータ上のその文脈プロファイルの分布をモデル化するための別個のオートエンコーダーを訓練する。正常な文脈パターンを再構成するのを学習する。
• 推論時、予測されたクラス用のオートエンコーダーを用いて、検出された領域の文脈プロファイルを再構成する。再構成誤差が大きいと文脈の不一致を示し、そのサンプルを潜在的な敵対的例としてマークする。
• 空間的（同じオブジェクト領域）、オブジェクト同士（共起するオブジェクト）、オブジェクトと背景（オブジェクトとシーンの整合性）、およびオブジェクトとシーン（包括的なシーンの一貫性）の4種類の文脈タイプを評価する。
• 本手法はFaster R-CNNベースの検出器に適用され、PASCAL VOCおよびMS COCOでデジタルおよび物理的敵対的攻撃に対してテストされた。

実験結果

リサーチクエスチョン

• RQ1 文脈の不一致は、オブジェクト検出における敵対的摂動の検出に信頼できるシグナルとして機能するか？
• RQ2 空間的、オブジェクト同士、オブジェクトと背景、およびオブジェクトとシーンの各文脈タイプが、敵対的検出性能にどのように寄与するか？
• RQ3 シーンレベルの文脈を組み込むことで、文脈に依存しない手法よりも検出性能が向上するか？
• RQ4 物理的敵対的攻撃、例えばパッチを追加された停止符が誤って分類されるような攻撃に対して、本手法はどの程度効果的か？
• RQ5 提案された領域数やシーン内のオブジェクト密度が、検出性能にどの程度影響を与えるか？

主な発見

• SCEMEは、さまざまな敵対的攻撃下でPASCAL VOCおよびMS COCOの両方で平均ROC-AUCが0.95を超えることを達成し、最先端の文脈に依存しない手法を著しく上回った。
• 停止符検出タスクでは、SCEMEは0.1%の偽陽性率で54%の摂動付き例を検出できたが、FeatureSqueezeは0%にとどまり、感度が優れていることが示された。
• 偽陽性率を0.1%に制限した場合、ノード特徴量のみを用いたアブレーションバージョンと比較して、SCEMEはほぼ2倍の敵対的例を検出できた。
• 領域提案数が増えるほど検出性能が向上し、空間的文脈が敵対的不一致を特定する上で有意に寄与していることが示された。
• シーン内のオブジェクト密度が高くなるほど性能が向上し、オブジェクト同士の文脈がシーンの複雑さが増すとより効果的になることが示された。
• 「出現オブジェクト」攻撃に対しても本手法は効果的に検出でき、摂動されたオブジェクトと正例とのIoUが高くなるほど検出精度が上昇した。これは空間的文脈の役割を裏付けた。