[論文レビュー] Defending Multimodal Fusion Models against Single-Source Adversaries

Karren Yang, Wanyi Lin+3 more|arXiv (Cornell University)|Jun 25, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、奇数の外れ者学習を通じたマルチモーダル一貫性を活用して、1つのモダリティ内で敵対的摂動を検出しフィルタリングする、耐障害性の高い統合戦略を提案する。この戦略により、アクション認識、オブジェクト検出、センチメント分析のあらゆるタスクで、クリーンデータのパフォーマンスを損なうことなく、単一ソースの敵対的耐性が顕著に向上する。

ABSTRACT

Beyond achieving high performance across many vision tasks, multimodal models are expected to be robust to single-source faults due to the availability of redundant information between modalities. In this paper, we investigate the robustness of multimodal neural networks against worst-case (i.e., adversarial) perturbations on a single modality. We first show that standard multimodal fusion models are vulnerable to single-source adversaries: an attack on any single modality can overcome the correct information from multiple unperturbed modalities and cause the model to fail. This surprising vulnerability holds across diverse multimodal tasks and necessitates a solution. Motivated by this finding, we propose an adversarially robust fusion strategy that trains the model to compare information coming from all the input sources, detect inconsistencies in the perturbed modality compared to the other modalities, and only allow information from the unperturbed modalities to pass through. Our approach significantly improves on state-of-the-art methods in single-source robustness, achieving gains of 7.8-25.2% on action recognition, 19.7-48.2% on object detection, and 1.6-6.7% on sentiment analysis, without degrading performance on unperturbed (i.e., clean) data.

研究の動機と目的

• 標準のマルチモーダル統合モデルが、多様なタスクにおいて単一ソースの敵対的摂動に対して脆弱であるかを調査すること。
• マルチモーダルシステムにおける単一ソースの敵対的耐性に関する実証的研究の不足に対処すること。
• クリーンデータ上のパフォーマンスを低下させることなく耐性を向上させる防御戦略を開発すること。
• エンドツーエンドの敵対的訓練に比べてリソースを多く消費しない方法を採用することで、実世界のマルチモーダルシステムにおける実用的耐性を実現すること。

提案手法

• 3つの入力から、特徴量をモダリティ間で比較することで、不一致するモダリティを特定する「奇数の外れ者ネットワーク」を導入する。
• モデルが他の2つのモダリティから逸脱するモダリティを特定するように、奇数の外れ者学習を用いてネットワークを訓練する。
• 摂動を受けていないと特定されたモダリティからの特徴量のみを統合し、摂動を受けていると特定されたモダリティの特徴量を抑制する「耐障害性の高い統合ネットワーク」を採用する。
• 奇数の外れ者ネットワークの入力として、事前学習済みのモダリティ固有の特徴抽出器から得られる非同期特徴量を用いることで、検出に必要な文脈的情報を保持する。
• 2段階の訓練プロセスを採用する：まず奇数の外れ者ネットワークを敵対的入力を検出できるように訓練し、次にその一貫性のある特徴量を用いて統合ネットワークを訓練する。
• 敵対的訓練を、統合ネットワークおよび奇数の外れ者ネットワークのパラメータに限定することで、エンドツーエンドの敵対的訓練に比べて計算コストを削減する。

Figure 1: (a) Example of a single source, worst-case ( i.e . , adversarial) perturbation on a multimodal model. (b) Standard multimodal models are vulnerable to worst-case perturbations on any single modality (“Vulnerable”). Our adversarially robust fusion strategy (“Robust”) leverages multimodal co

実験結果

リサーチクエスチョン

• RQ1 複数の摂動のないモダリティが存在する状況でも、標準のマルチモーダル統合モデルは単一ソースの敵対的摂動に対して脆弱であるか？
• RQ2 マルチモーダル一貫性を活用することで、1つのモダリティからの敵対的入力を検出しフィルタリングできるか？
• RQ3 耐障害性の高い統合戦略は、クリーンで摂動のないデータ上のパフォーマンスを低下させることなく、敵対的耐性を向上させられるか？
• RQ4 モダリティの冗長性の異なるレベルにおいて、奇数の外れ者検出メカニズムの性能はどのように変化するか？
• RQ5 防御メカニズムを事前に知っている適応的でホワイトボックス攻撃に対しても、提案手法は防御可能か？

主な発見

• 標準のマルチモーダル統合モデルは、単一ソースの敵対的攻撃に対して極めて脆弱であり、同じ攻撃条件下で単一モダリティモデルのパフォーマンスを下回る。
• 提案された奇数の外れ者学習アプローチにより、アクション認識（EPIC-Kitchens）において7.8–25.2%の単一ソース耐性向上を達成した。
• 2次元オブジェクト検出（KITTI）では、19.7–48.2%の耐性向上を達成し、高い冗長性を持つ環境でも強力な有効性を示した。
• センチメント分析（CMU-MOSI）では、1.6–6.7%の耐性向上を達成し、多様なタスクへの適用可能性を示した。
• クリーンデータ上のパフォーマンスは、標準的な統合モデルと同等の水準を維持しており、摂動のないデータに対する顕著な劣化は見られなかった。
• KITTIではモデルパラメータのたった3.3%しか再訓練が不要ではなく、エンドツーエンドの敵対的訓練に比べてリソースコストを顕著に削減した。

Figure 2: We propose a robust multimodal fusion strategy based on “odd-one-out” learning, an auxiliary self-supervised task in which a model is presented with multiple elements and must predict which one of them is different from the others. A multimodal model augmented with an odd-one-out network c