[논문 리뷰] Detecting Adversarial Attacks On Audiovisual Speech Recognition

Pingchuan Ma, Stavros Petridis외 1명|arXiv (Cornell University)|2019. 12. 18.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 7

한 줄 요약

이 논문은 적대적 예측 공격에 대한 새로운 효율적인 검출 방법을 제안한다. 이 방법은 적대적 예제에서 음성 및 영상 스트림 간의 시간적 상관관계가 감소하는 특성을 활용한다. 음성-영상 동기화 신뢰도를 상관관계의 대체 지표로 사용함으로써, GRID 및 LRW 데이터셋을 사용한 고립형 및 연속형 음성 인식 작업에서 높은 검출 정확도를 달성한다. AUC는 최대 0.90에 도달하고 F1 점수는 0.75 이상을 기록한다.

ABSTRACT

Adversarial attacks pose a threat to deep learning models. However, research on adversarial detection methods, especially in the multi-modal domain, is very limited. In this work, we propose an efficient and straightforward detection method based on the temporal correlation between audio and video streams. The main idea is that the correlation between audio and video in adversarial examples will be lower than benign examples due to added adversarial noise. We use the synchronisation confidence score as a proxy for audiovisual correlation and based on it we can detect adversarial attacks. To the best of our knowledge, this is the first work on detection of adversarial attacks on audiovisual speech recognition models. We apply recent adversarial attacks on two audiovisual speech recognition models trained on the GRID and LRW datasets. The experimental results demonstrate that the proposed approach is an effective way for detecting such attacks.

연구 동기 및 목표

• 다중 모odal 음성-영상 음성 인식 분야에서 적대적 공격 탐지 방법의 부족을 해결하기 위해.
• 적대적 노이즈가 음성 데이터의 천연 음성-영상 상관관계를 파괴하는지 조사하기 위해.
• 모델 재학습이 필요 없는 경량이며 침습적이지 않은 탐지 기반을 개발하기 위해.
• 고립형 및 연속형 음성 인식 작업에서 다양한 공격 유형과 노이즈 수준에 대해 방법의 효과성을 평가하기 위해.

제안 방법

• 음성 및 영상 스트림 간 시간적 상관관계의 대체 지표로 음성-영상 동기화 신뢰도 점수를 사용한다.
• 사전 훈련된 동기화 네트워크를 활용하여 정상 및 적대적 예제의 신뢰도 점수를 추정한다.
• 정상 샘플과 적대적 샘플 간의 동기화 점수 분포를 비교하여 이질성을 탐지한다.
• 음성 및 영상 스트림에 대해 두 가지 공격 유형을 적용한다: 빠른 기울기 부호 방법(FGSM)과 반복 최적화 기반 공격(BIM 등).
• 공격 성공도와 탐지 가능성을 평가하기 위해 왜곡 지표(L², L∞)와 번역 오류(WER)를 사용한다.
• 다양한 노이즈 임계값에서 탐지 성능을 평가하기 위해 AUC와 F1 점수를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 음성-영상 동기화 신뢰도가 음성-영상 음성 인식에서 적대적 예제와 정상 예제를 효과적으로 구분할 수 있는가?
• RQ2 다양한 적대적 공격 유형(FGSM 대 반복 공격)에 따라 탐지 방법의 성능은 어떻게 달라지는가?
• RQ3 음성 및 영상 스트림의 노이즈 수준이 다양할 경우에도 탐지 방법은 여전히 효과적인가?
• RQ4 고립형 단어 및 연속형 음성 인식 작업 모두에서 이 방법의 성능은 어떠한가?
• RQ5 모델 재학습이나 기울기 접근이 없이도 이 방법이 적대적 예제를 탐지할 수 있는가?

주요 결과

• 제안된 방법은 연속형 음성 인식 모델에 대한 완전 타겟팅 적대적 공격을 탐지할 때 AUC가 최대 0.90에 도달하고 F1 점수가 0.75 초과를 기록한다.
• 부분 타겟팅 공격의 경우, 다양한 노이즈 수준에서 AUC는 0.74에서 0.84 사이, F1은 0.68에서 0.75 사이를 기록한다.
• 완전 타겟팅 공격에서 εᴬ = 1024 및 εᵛ = 8일 때 성공률가 가장 높았고(77%), 이에 해당하는 AUC는 0.90, F1은 0.82였다.
• 낮은 노이즈 수준(예: εᵛ = 4)에서도 강력한 탐지 성능 유지를 보였으며, AUC는 0.87, F1은 0.78였다.
• 연속형 음성에서 다양한 문장에 걸쳐 적대적 예제를 성공적으로 탐지했으며, 탐지 AUC 및 F1 점수는 일관되게 0.70 초과를 기록했다.
• 적대적 예제에서 동기화 신뢰도 점수가 정상 예제보다 유의미하게 낮아, 핵심 가설이 확인되었다.