[논문 리뷰] Attentive Filtering Networks for Audio Replay Attack Detection

Cheng-I Lai, Alberto Abad외 4명|arXiv (Cornell University)|2018. 10. 31.

Speech Recognition and Synthesis참고 문헌 13인용 수 4

한 줄 요약

이 논문은 자동 화자 확인에서 음성 재생 공격 탐지를 위한 Attentive Filtering Networks (AFN)를 제안한다. 주어진 방법은 시간 도메인 및 주파수 도메인 특징의 분류 능력을 향상시키기 위해 주목사용 기반 필터를 결합한 Dilated Residual Network (DRN) 분류기로 구성된다. 이 방법은 ASVspoof 2017 Version 2.0 테스트 세트에서 8.99%의 EER을 달성하였으며, 시스템 융합을 통해 30%의 상대적 향상이 이루어졌고, 소규모이고 불균형한 데이터셋에서 효과적인 특징 향상과 강건한 일반화 능력을 입증한다.

ABSTRACT

An attacker may use a variety of techniques to fool an automatic speaker verification system into accepting them as a genuine user. Anti-spoofing methods meanwhile aim to make the system robust against such attacks. The ASVspoof 2017 Challenge focused specifically on replay attacks, with the intention of measuring the limits of replay attack detection as well as developing countermeasures against them. In this work, we propose our replay attacks detection system - Attentive Filtering Network, which is composed of an attention-based filtering mechanism that enhances feature representations in both the frequency and time domains, and a ResNet-based classifier. We show that the network enables us to visualize the automatically acquired feature representations that are helpful for spoofing detection. Attentive Filtering Network attains an evaluation EER of 8.99$\%$ on the ASVspoof 2017 Version 2.0 dataset. With system fusion, our best system further obtains a 30$\%$ relative improvement over the ASVspoof 2017 enhanced baseline system.

연구 동기 및 목표

• 재생 공격 탐지를 위한 시간 도메인 및 주파수 도메인 특징의 분류 능력을 자동으로 식별하고 향상시키는 딥 러닝 시스템을 개발한다.
• 공격 신호가 희박하거나 시간에 따라 변동되거나 부분적으로 관찰 가능한 경우에도 스피치 특징에서 스푸핑 공격를 탐지하는 데 도전하는 문제를 해결한다.
• 반도체 방지 벤치마크에서 흔히 볼 수 있는 소규모이고 불균형한 데이터셋에서 과적합을 방지하는 데 강건성을 향상시킨다.
• 학습된 주목사용 메커니즘을 시각화하고 해석하여 스푸핑 공격 탐지와의 관련성을 검증한다.

제안 방법

• 3초의 슬라이딩 윈도우를 기반으로 평균 정규화를 적용한 로그 스펙트로그램 특징을 사용하며, 이를 통일된 257×1091 시간-주파수 맵으로 확장하여 발화 수준의 표현을 유지한다.
• Dilated Residual Network (DRN)은 완전 연결 층을 확장된 컨볼루션과 수정된 잔차 유닛으로 대체하여 장거리 의존성을 포착하고 특징 학습을 향상시킨다.
• 주목사용 기반 필터링 메커니즘은 분류 이전에 입력 스펙트로그램의 특정 시간 및 주파수 성분을 강조하거나 억제하기 위해 학습 가능한 주목사용 가중치를 적용한다.
• 주목사용 메커니즘은 Sigmoid, SoftmaxT, SoftmaxF, Tanh와 같은 다양한 비선형 활성화 함수로 구현되며, 각각 다른 주목사용 패턴을 생성하여 상보적인 특징 학습을 가능하게 한다.
• 다양한 활성화 함수를 사용한 여러 개의 AFN 시스템을 융합하여 상호 보완적인 주목사용 맵을 조합함으로써 전체 탐지 성능을 향상시킨다.
• 최종 분류기는 다수의 주목사용 강화 특징 표현의 점수 수준 융합을 사용하여 탐지 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 주목사용 기반 필터링 메커니즘이 재생 공격 탐지에 있어 시간 도메인 및 주파수 도메인 특징을 효과적으로 식별하고 향상시킬 수 있는가?
• RQ2 주목사용 메커니즘의 다양한 비선형 활성화 함수가 모델의 스푸핑 공격 신호 탐지 능력에 어떤 영향을 미치는가?
• RQ3 제안된 Attentive Filtering Network는 소규모이고 불균형한 데이터셋에서 예측 불가능한 데이터에 대해 얼마나 잘 일반화되는가?
• RQ4 다양한 활성화 패턴을 가진 여러 주목사용 메커니즘을 융합하면 개별 모델 대비 탐지 성능 향상이 이루어지는가?

주요 결과

• 제안된 Attentive Filtering Network는 ASVspoof 2017 Version 2.0 데이터셋에서 평가 Equal Error Rate (EER)가 8.99%를 기록하여 벤치마크에서 뛰어난 성능을 입증한다.
• 주목사용 메커니즘에서 Sigmoid 활성화 함수를 사용한 최고의 단일 시스템이 8.99%의 최저 EER을 기록하며, 다른 활성화 함수보다 뛰어난 성능을 보였다.
• Sigmoid 및 SoftmaxT 활성화 함수를 사용한 AFN 시스템 융합은 평가 세트에서 EER을 8.54%로 감소시켜 강화된 베이스라인 시스템 대비 30%의 상대적 향상을 보였다.
• 주목사용 히트맵 분석 결과, Sigmoid는 시간과 주파수 전반에 걸쳐 조밀한 활성화를 생성하는 반면, Softmax 유형은 희박성을 강조하여 서로 다른 특징 선택 행동을 보이며 상호 보완적임을 시사한다.
• 최고의 융합 시스템에서 개발 세트와 평가 세트의 EER 간 차이가 작음(예: 6.09 vs. 8.54)하여, 소규모이고 불균형한 데이터셋임에도 불구하고 강력한 일반화 능력과 낮은 과적합을 나타낸다.
• ELU 활성화 함수를 사용한 DRN 기반 분류기는 10.16%의 EER을 기록하였고, 주목사용 메커니즘의 추가로 EER가 추가로 감소함으로써 특징 향상의 효과를 확인할 수 있었다.