[論文レビュー] Detecting Adversarial Attacks On Audiovisual Speech Recognition

Pingchuan Ma, Stavros Petridis+1 more|arXiv (Cornell University)|Dec 18, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用数 7

ひとこと要約

本稿では、敵対的攻撃が音声・映像の語りかけ認識システムに与える影響を、敵対的例における音声と映像のストリーム間の時間的相関の低下に着目することで、新しい効率的な検出手法を提案する。音声・映像の同期信頼度を相関の代理指標として用いることで、GRIDおよびLRWデータセットを用いた、孤立語と連続語認識タスクの両方で、AUCが最大0.90、F1スコアが0.75を超える高い検出精度を達成する。

ABSTRACT

Adversarial attacks pose a threat to deep learning models. However, research on adversarial detection methods, especially in the multi-modal domain, is very limited. In this work, we propose an efficient and straightforward detection method based on the temporal correlation between audio and video streams. The main idea is that the correlation between audio and video in adversarial examples will be lower than benign examples due to added adversarial noise. We use the synchronisation confidence score as a proxy for audiovisual correlation and based on it we can detect adversarial attacks. To the best of our knowledge, this is the first work on detection of adversarial attacks on audiovisual speech recognition models. We apply recent adversarial attacks on two audiovisual speech recognition models trained on the GRID and LRW datasets. The experimental results demonstrate that the proposed approach is an effective way for detecting such attacks.

研究の動機と目的

• マルチモodalな音声・映像の語りかけ認識分野における敵対的検出手法の不足に対処すること。
• 敵対的ノイズが語りかけデータの自然な音声・映像相関を破壊するかどうかを調査すること。
• モデルの再トレーニングを必要としない軽量で非侵襲的な検出メカニズムを開発すること。
• 異なる攻撃タイプおよび摂動レベルにおける、孤立語と連続語認識タスクの両方での手法の有効性を評価すること。

提案手法

• 音声と映像のストリーム間の時間的相関の代理指標として、音声・映像の同期信頼度スコアを用いる。
• 事前学習済みの同期ネットワークを用いて、健全な例と敵対的例の両方の信頼度スコアを推定する。
• 健全なサンプルと敵対的サンプルの間での同期スコアの分布を比較し、異常を検出する。
• 音声および映像ストリームに、Fast Gradient Sign Method (FGSM) と反復最適化ベースの攻撃（例：BIM）の2種類の攻撃を適用する。
• 攻撃の成功度と検出可能性を評価するために、歪み指標（L²、L∞）とトランスクリプション誤差（WER）を用いる。
• AUCとF1スコアを評価指標として用い、さまざまな摂動閾値における検出性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 音声・映像の同期信頼度は、音声・映像の語りかけ認識における敵対的例と健全な例を効果的に区別できるか？
• RQ2 異なる敵対的攻撃タイプ（例：FGSM 対 反復的攻撃）において、検出手法の性能はどのように変化するか？
• RQ3 音声および映像ストリームにおけるさまざまな摂動レベル下でも、検出手法は有効性を保つのか？
• RQ4 孤立語認識タスクと連続語認識タスクの両方で、この手法はどのように性能を発揮するか？
• RQ5 モデルの再トレーニングや勾配のアクセスを必要とせずに、敵対的例を検出できるか？

主な発見

• 提案手法は、連続語認識モデルに対する完全なターゲティング攻撃を検出する際、AUCが最大0.90、F1スコアが0.75を超える。
• 部分的ターゲティング攻撃では、さまざまな摂動レベルにおいてAUCが0.74〜0.84、F1が0.68〜0.75の範囲に収まる。
• 完全なターゲティング攻撃では、εᴬ = 1024 および εᵛ = 8 の条件下で成功率が最も高く（77%）、対応するAUCは0.90、F1は0.82であった。
• 低摂動レベル（例：εᵛ = 4）でも、検出性能は強く保たれ、AUCが0.87、F1が0.78を記録した。
• 連続語の多様な文においても、敵対的例は効果的に検出可能であり、AUCとF1スコアは常に0.70を超えていた。
• 敵対的例では健全な例に比べて同期信頼度スコアが顕著に低く、核心仮説の妥当性が裏付けられた。