[論文レビュー] Investigating Vulnerability to Adversarial Examples on Multimodal Data Fusion in Deep Learning

Youngjoon Yu, Hong Joo Lee+3 more|arXiv (Cornell University)|May 22, 2020

Adversarial Robustness in Machine Learning参考文献 19被引用数 16

ひとこと要約

本稿では、RGBおよび赤外線（IR）入力を用いたセマンティックセグメンテーションを目的としたMFNetを含む、マルチモーダルディープラーニング融合モデルの敵対的ロバスト性を調査している。補完的モダリティ統合による予測精度の向上を最適化しているにもかかわらず、モデルは勾配ベースの敵対的攻撃に対して依然として極めて脆弱である。たとえ1つのモダリティ（例：RGBまたはIR）のみが摂動を受けても、顕著な性能低下を示し、現在の融合モデルがロバスト性の観点から補完的関係を十分に活用していないことを示している。

ABSTRACT

The success of multimodal data fusion in deep learning appears to be attributed to the use of complementary in-formation between multiple input data. Compared to their predictive performance, relatively less attention has been devoted to the robustness of multimodal fusion models. In this paper, we investigated whether the current multimodal fusion model utilizes the complementary intelligence to defend against adversarial attacks. We applied gradient based white-box attacks such as FGSM and PGD on MFNet, which is a major multispectral (RGB, Thermal) fusion deep learning model for semantic segmentation. We verified that the multimodal fusion model optimized for better prediction is still vulnerable to adversarial attack, even if only one of the sensors is attacked. Thus, it is hard to say that existing multimodal data fusion models are fully utilizing complementary relationships between multiple modalities in terms of adversarial robustness. We believe that our observations open a new horizon for adversarial attack research on multimodal data fusion.

研究の動機と目的

• マルチモーダルデータ統合モデルが、敵対的ロバスト性の観点から補完的情報を十分に活用しているかどうかを調査すること。
• FGSMおよびPGDのような勾配ベースの敵対的攻撃が、セマンティックセグメンテーションにおけるマルチモーダル統合モデルに与える影響を評価すること。
• 融合アーキテクチャが存在するにもかかわらず、1つのモダリティのみが攻撃を受けるとロバスト性が損なわれるかどうかを特定すること。
• マルチモーダルディープラーニングにおける敵対的ロバスト性研究のギャップを浮き彫りにすること、特に性能向上との対比において。
• 敵対的脆弱性に関する実証的証拠と理論的洞察を提供すること、特にマルチモーダル統合システムにおいて。

提案手法

• MFNetモデルのRGBおよびIR入力に、$l_∞$摂動ノルム（$\epsilon$）を変化させたFGSMおよびPGD攻撃を適用した。
• ロバストネスの評価に主に$IoU_R = \frac{mIoU_{AP}}{mIoU_{CO}}$を用い、敵対的入力とクリーンな入力の性能を比較した。
• アンラベルドの背景クラスを組み込んだマルチモーダルセマンティックセグメンテーションベンチマーク上でMFNetを訓練および評価した。
• さまざまな攻撃シナリオと$\epsilon$値において、平均交差率（mIoU）、平均正答率（mAcc）、および$IoU_R$の変化を追跡した。
• 単一モダリティ（RGBのみ、IRのみ）および両方を同時に攻撃することで、脆弱性の原因を特定するためのアブレーションスタディを実施した。
• 敵対的脆弱性が非ロバスト特徴に起因することを示す理論的分析を適用した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルにおけるマルチモーダル統合は、単一モダリティモデルと比較して敵対的ロバスト性を向上させるか？
• RQ2 1つの入力モダリティ（例：RGBまたはIR）のみを摂動させると、マルチモーダル統合モデルの性能はどの程度低下するか？
• RQ3 FGSMやPGDのような勾配ベースの敵対的攻撃は、補完的設計を備えたマルチモーダル統合モデルのロバスト性を顕著に低下させるか？
• RQ4 マルチモーダル統合の性能向上が、モダリティ間でのロバスト特徴学習の欠如によって損なわれているか？
• RQ5 現在の統合アーキテクチャは、敵対的耐性という観点から、複数モダリティの補完的性質を十分に活用しているか？

主な発見

• $\epsilon = 40$でRGBモダリティのみを攻撃した場合、$IoU_R$は41.9%から35.0%に低下し、顕著な性能低下を示した。
• IRモダリティのみを$\epsilon = 40$で攻撃した場合、$IoU_R$は54.6%から34.2%に低下し、同様の脆弱性を示した。
• PGD攻撃（$\epsilon = 40$）において、RGBのみを攻撃した場合$IoU_R$は28.6%に低下し、IRのみを攻撃した場合も33.2%に低下した。これにより、持続的な脆弱性が確認された。
• 両方のモダリティを同時に攻撃した場合、$IoU_R$は最低の27.3%にまで低下し、統合によるロバストネスの向上は見られなかった。
• クリーンセットでの高い性能にもかかわらず、マルチモーダル統合モデルは敵対的ロバストネスに顕著な向上を示さず、補完的特徴の不完全な活用が示唆された。
• 結果から、現在の統合モデルが、複数のモダリティが利用可能であっても、非ロバスト特徴に依存している可能性が示唆され、補完的知能による防御の潜在的利点が損なわれていると考えられる。