[論文レビュー] Adversarial Evaluation of Multimodal Models under Realistic Gray Box Assumption

Ivan Evtimov, Russel Howes+3 more|arXiv (Cornell University)|Nov 25, 2020

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本稿は、マルチモーダル（画像＋テキスト）分類器の敵対的ロバストネスを評価するための現実的でグレイボックスな脅威モデルを提示し、モデル部品の部分的知識を利用する二モダリティ攻撃を提案する。画像とテキストの組み合わせ攻撃は、73％のHateful Memesケースで誤分類を引き起こし、単モダリティ攻撃を上回る結果となった。一方、画像のみの攻撃は文字レベルのテキスト拡張（45％対30％の誤り率）よりも効果的であることが判明した。

ABSTRACT

This work examines the vulnerability of multimodal (image + text) models to adversarial threats similar to those discussed in previous literature on unimodal (image- or text-only) models. We introduce realistic assumptions of partial model knowledge and access, and discuss how these assumptions differ from the standard "black-box"/"white-box" dichotomy common in current literature on adversarial attacks. Working under various levels of these "gray-box" assumptions, we develop new attack methodologies unique to multimodal classification and evaluate them on the Hateful Memes Challenge classification task. We find that attacking multiple modalities yields stronger attacks than unimodal attacks alone (inducing errors in up to 73% of cases), and that the unimodal image attacks on multimodal classifiers we explored were stronger than character-based text augmentation attacks (inducing errors on average in 45% and 30% of cases, respectively).

研究の動機と目的

• 完全なホワイトボックスとブラックボックスの間の状況を想定した、現実的な脅威モデル下でのマルチモーダル分類器の敵対的脆弱性を調査すること。
• 画像とテキストの両モダリティに敵対的摂動が加えられた場合、マルチモーダルモデルが単モーダルモデルよりもロバストであるかどうかを評価すること。
• モデルへのアクセスおよび知識のレベルが異なる状況下での、画像ベースおよびテキストベースの敵対的攻撃の有効性を評価すること。
• 公開済みのオフザシェルコンポーネント（例：事前学習済みオブジェクト検出器）の使用が、マルチモーダルシステムにおける敵対的脆弱性に与える影響を検討すること。
• ガイドドビームサーチ、ランダムサーチ、トランスファーベース攻撃といった、異なる敵対的攻撃戦略がマルチモーダル分類性能に与える影響を定量化すること。

提案手法

• 特徴抽出器やオフザシェルモデル（Faster R-CNN や ResNet など）への部分的アクセスを仮定するグレイボックス攻撃フレームワークを構築する。
• 敵対的画像を生成するための特徴マッチング損失関数 $ L = ||f(x) - f(y)||_2 $ を用い、同じテキストを持つが逆のラベルを持つ画像に特徴マップをシフトさせる。
• PGDベースの最適化を、複数のモデル（ResNet-152、DenseNet など）のアンサンブル平均を用いて実行し、ブラックボックスおよびグレイボックス設定下での攻撃のトランスファー性を向上させる。
• 編集距離制約を組み込んだビームサーチを適応し、意味的変化を最小限に抑えつつ、正解クラスの信頼度を最大限に低下させる敵対的テキスト拡張を生成する。
• 編集距離のしきい値（τ = 0.07、0.2、0.5）に基づき、軽度、中程度、重度のテキスト攻撃の3段階を定義し、摂動の強度を制御する。
• 直接アクセスが不可能な場合に備え、外部モデルを活用してテキスト攻撃のランク付けを実施する。白ボックスおよび軽度グレイボックス設定を用いる。

実験結果

リサーチクエスチョン

• RQ1 標準的なブラックボックスまたはホワイトボックスモデルと比較して、現実的なグレイボックス仮定下でのマルチモーダル分類器のロバストネスはどのように変化するか？
• RQ2 画像とテキストの両モダリティに敵対的攻撃を加えた場合、単モーダル攻撃に比べて誤分類を誘発する効果はどの程度高いのか？
• RQ3 マルチモーダル分類器をだますために、画像ベースの敵対的攻撃と文字レベルのテキスト拡張攻撃のどちらがより効果的か？
• RQ4 オフザシェルで利用可能なコンポーネント（例：オブジェクト検出器）の使用は、マルチモーダルモデルの敵対的攻撃に対する脆弱性を高めるか？
• RQ5 同じ脅威モデル下で、マルチモーダル統合メカニズムの選択が敵対的ロバストネスに与える影響は何か？

主な発見

• 画像とテキストの両モダリティに敵対的攻撃を加えた場合、Hateful Memes データセットにおけるマルチモーダル分類器の誤分類成功率は最大73％に達した。
• 画像のみの攻撃では45％のケースで誤分類が発生し、文字ベースのテキスト拡張攻撃（30％の誤り率）を上回った。
• 異なる統合メカニズムを用いたマルチモーダルモデルは、敵対的攻撃に対して類似した脆弱性を示した。これは、統合戦略がロバストネスに顕著な影響を与えないことを示している。
• 微調整を行わないオフザシェルのオブジェクト検出器に依存するモデルは、敵対的攻撃に対して脆弱であった。これは、公開済みのコンポーネントが、弱い攻撃者に対しても効果的な攻撃を可能にする可能性を示している。
• 敵対的攻撃の成功は、使用された統合メカニズムに依存していなかった。これは、ロバストネスを向上させるには、アーキテクチャの選択だけでなく、入力レベルでの対策が不可欠であることを示唆している。
• ガイドドビームサーチによるテキスト拡張は、特に軽度および中程度の摂動レベルで、ランダムサーチよりも高い成功確率を達成した。これは、グレイボックス環境下でのクエリガイドドサーチの価値を裏付けている。