[논문 리뷰] Channel-wise Gated Res2Net: Towards Robust Detection of Synthetic Speech Attacks

Xu Li, Xixin Wu외 3명|arXiv (Cornell University)|2021. 07. 19.

Speech Recognition and Synthesis참고 문헌 29인용 수 6

한 줄 요약

이 논문은 자동 발화자 검증(AVS) 환경에서 합성 음성 공격을 탐지하는 데 있어 강건성을 향상시키는 새로운 딥러닝 아키텍처인 채널별 게이팅 리드레스2넷(CG-Res2Net)을 제안한다. 리드레스2넷 블록에 채널별 게이팅 메커니즘을 통합하여 관련성이 없는 채널을 동적으로 억제함으로써, ASVspoof 2019의 논리적 접근 평가에서 최신 기술 수준(SOTA) 성능을 달성한다. MCG-Res2Net50은 EER을 28.8% 감소시키고, MLCG-Res2Net50은 가장 어려운 미사용 공격(A17)에 대해 검출 정확도를 Res2Net보다 6.15% 향상시켰다.

ABSTRACT

Existing approaches for anti-spoofing in automatic speaker verification (ASV) still lack generalizability to unseen attacks. The Res2Net approach designs a residual-like connection between feature groups within one block, which increases the possible receptive fields and improves the system's detection generalizability. However, such a residual-like connection is performed by a direct addition between feature groups without channel-wise priority. We argue that the information across channels may not contribute to spoofing cues equally, and the less relevant channels are expected to be suppressed before adding onto the next feature group, so that the system can generalize better to unseen attacks. This argument motivates the current work that presents a novel, channel-wise gated Res2Net (CG-Res2Net), which modifies Res2Net to enable a channel-wise gating mechanism in the connection between feature groups. This gating mechanism dynamically selects channel-wise features based on the input, to suppress the less relevant channels and enhance the detection generalizability. Three gating mechanisms with different structures are proposed and integrated into Res2Net. Experimental results conducted on ASVspoof 2019 logical access (LA) demonstrate that the proposed CG-Res2Net significantly outperforms Res2Net on both the overall LA evaluation set and individual difficult unseen attacks, which also outperforms other state-of-the-art single systems, depicting the effectiveness of our method.

연구 동기 및 목표

• 자동 발화자 검증(ASV) 환경에서 미사용된 합성 음성 공격에 대한 일반화 능력을 향상시키기 위해.
• 리드레스2넷의 한계를 해결하기 위해, 채널별 주의 메커니즘이 없는 직접 잔차 연결을 적용함으로써 최적의 특징 선택이 이루어지지 않는 문제를 해결하기 위해.
• 특징 융합 과정에서 덜 관련성이 있는 채널을 동적으로 억제하는 채널별 게이팅 메커니즘을 설계하여 강건성을 향상시키기 위해.
• 리드레스2넷 아키텍처 내에서 세 가지 다른 게이팅 메커니즘—단일 그룹, 다중 그룹, 잠재 공간 게이팅—의 효과를 평가하기 위해.
• 특히 가장 도전적인 A17 공격에 대해 기존 최신 기술 수준의 단일 시스템보다 뛰어난 성능을 달성하기 위해.

제안 방법

• 특징 그룹 간의 잔차 유사 연결에 채널별 게이팅 메커니즘을 통합한 새로운 아키텍처인 CG-Res2Net을 제안한다.
• 세 가지 게이팅 메커니즘을 도입한다: 단일 그룹 채널별 게이팅(SCG), 다중 그룹 채널별 게이팅(MCG), 다중 그룹 잠재 공간 채널별 게이팅(MLCG), 각각 주의 가중치를 계산하는 방식에서 상이하다.
• SCG 게이팅은 현재 특징 그룹에 기반하여 단일 완전 연결 층을 사용해 채널 가중치를 학습한다.
• MCG 게이팅은 현재 및 다음 특징 그룹을 비교하여 주의를 계산함으로써 맥락 인식 억제를 가능하게 한다.
• MLCG 게이팅은 두 특징 그룹을 별도의 잠재 공간으로 투영한 후 게이팅을 계산함으로써 더 복잡한 비선형 주의 학습이 가능하다.
• 모델들은 교차 엔트로피 손실을 사용해 훈련되며, EER 및 t-DCF 지표를 사용해 ASVspoof 2019 논리적 접근(LA) 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 리드레스2넷에 채널별 게이팅을 도입함으로써, ASV에서 미사용된 합성 음성 공격에 대한 일반화 능력이 향상되는가?
• RQ2 다양한 공격 유형에 걸쳐 검출 강건성을 향상시키는 데 있어, SCG, MCG, MLCG와 같은 서로 다른 게이팅 메커니즘 간의 성능 비교는 어떻게 되는가?
• RQ3 ASVspoof 2019 LA 평가 세트에서, 특히 탐지가 어려운 공격인 A17에 대해 CG-Res2Net은 리드레스2넷과 다른 최신 기술 수준의 단일 시스템을 초월하는가?
• RQ4 채널별 주의는 방식이 특징 융합 과정에서 관련성이 없는 특징의 영향을 어느 정도 감소시키는가?

주요 결과

• MCG-Res2Net50 모델은 ASVspoof 2019 LA 평가 세트에서 EER 1.78%를 기록하여, Res2Net50 대비 28.8% 상대적 감소를 보였다.
• 가장 도전적인 미사용 공격인 A17에 대해 MLCG-Res2Net50는 검출 정확도 87.63%를 달성하여, Res2Net50보다 6.15% 포인트 높은 성능을 보였다.
• SCG, MCG, MLCG의 세 가지 CG-Res2Net 변종 모두 전체 LA 평가 세트 및 개별적으로 어려운 미사용 공격에 대해 Res2Net50를 모두 초월했다.
• 제안된 CG-Res2Net 모델들은 EER 및 t-DCF 측면에서 ASVspoof 2019 LA 벤치마크에서 보고된 모든 단일 최신 기술 수준 시스템을 뛰어넘었다.
• MCG-Res2Net50 모델은 t-DCF 0.052를 기록하여, Res2Net50 대비 29.7% 상대적 감소를 보였으며, 이는 시스템 신뢰성 향상을 의미한다.
• 결과는 채널별 게이팅이 덜 관련성이 있는 채널을 억제함으로써 특징 선택 능력을 향상시켜, 미사용된 합성 음성 공격에 대한 일반화 능력을 향상시킨다는 점을 확인한다.