[논문 리뷰] Do You Remember? Overcoming Catastrophic Forgetting for Fake Audio Detection

Xiaohui Zhang, Jiangyan Yi외 3명|arXiv (Cornell University)|2023. 08. 07.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 지속적 학습을 위한 Regularized Adaptive Weight Modification (RAWM)를 제안한다. 이 방법은 재조정 훈련 중 진짜 음성과 가짜 음성의 비율에 따라 모델 가중치를 적응적으로 조정하면서, 분포 이동 상황에서도 지식을 유지하기 위해 정규화를 적용한다. RAWM은 기존 방법들을 능가하는 성능을 보이며, 이는 이전 훈련 데이터에 접근할 수 없음에도 불구하고 교차 데이터셋 탐지 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Current fake audio detection algorithms have achieved promising performances on most datasets. However, their performance may be significantly degraded when dealing with audio of a different dataset. The orthogonal weight modification to overcome catastrophic forgetting does not consider the similarity of genuine audio across different datasets. To overcome this limitation, we propose a continual learning algorithm for fake audio detection to overcome catastrophic forgetting, called Regularized Adaptive Weight Modification (RAWM). When fine-tuning a detection network, our approach adaptively computes the direction of weight modification according to the ratio of genuine utterances and fake utterances. The adaptive modification direction ensures the network can effectively detect fake audio on the new dataset while preserving its knowledge of old model, thus mitigating catastrophic forgetting. In addition, genuine audio collected from quite different acoustic conditions may skew their feature distribution, so we introduce a regularization constraint to force the network to remember the old distribution in this regard. Our method can easily be generalized to related fields, like speech emotion recognition. We also evaluate our approach across multiple datasets and obtain a significant performance improvement on cross-dataset experiments.

연구 동기 및 목표

• 이전 데이터에 접근할 수 없을 때 새로운 데이터셋에 대해 재조정 훈련을 수행할 경우 발생하는 치명적 기억 상실 문제를 해결하기 위해.
• 실제/가짜 음성 비율에 따라 가중치 수정 방향을 적응적으로 조정하여 교차 데이터셋 일반화 성능을 향상시키기 위해.
• 다양한 음향 조건으로 인해 진짜 음성 분포가 데이터셋 간으로 다를 경우 성능 저하를 완화하기 위해.
• 가짜 음성 탐지 외의 분야, 예를 들어 음성 정서 인식 등에 적용 가능한 방법을 개발하기 위해.
• 경험 재생이나 데이터 증강에 의존하지 않고 최소한의 인덕티브 바이어스로 뛰어난 성능을 달성하기 위해.

제안 방법

• RAWM은 새로운 데이터셋 내 진짜 및 가짜 발화의 비율에 기반해 가중치 수정 방향을 적응적으로 계산한다.
• 이전 입력이 차지하는 부분공간에 수직인 프로젝터를 사용하지만, 진짜 음성이 지배적일 경우 이 방향을 이전 입력 부분공간 쪽으로 조정한다.
• 가짜 음성이 더 흔할 경우, 수정 방향은 이전 입력 부분공간에 수직이 되도록 이동한다.
• 구성된 정규화 제약 조건은 이전 진짜 음성의 특징 분포를 유지하는 데 기여하며, 특히 신규 및 이전 데이터셋 간 음향 조건이 다를 경우 유용하다.
• 이 방법은 이전 데이터를 저장하거나 재생할 필요가 없어, 기밀 모델이 적용되는 실세계 환경에 적합하다.
• 이 접근은 CLEAR-10 벤치마크에서의 실험을 통해 이미지 인식으로 일반화되었으며, 광범위한 적용 가능성을 확인했다.

(a)

실험 결과

연구 질문

• RQ1 이전 훈련 데이터에 접근할 수 없을 때 새로운 데이터셋에 대해 재조정 훈련을 수행할 경우, 가짜 음성 탐지에서 치명적 기억 상실을 어떻게 완화할 수 있는가?
• RQ2 새로운 데이터셋에서 진짜 대비 가짜 음성 비율이 변할 경우, 최적의 가중치 업데이트 방향은 무엇인가?
• RQ3 신규 및 이전 데이터셋이 상당히 다른 음향 조건에서 수집되었을 경우, 이전 진짜 음성 분포의 지식을 어떻게 유지할 수 있는가?
• RQ4 제안된 방법은 가짜 음성 탐지 외의 다른 기계 학습 작업으로 일반화될 수 있는가?
• RQ5 다양한 데이터셋에서 성능 및 내구성 측면에서 RAWM은 기존의 지속적 학습 기준선과 어떻게 비교되는가?

주요 결과

• RAWM은 CLEAR-10 이미지 분류 벤치마크에서 10개 경험 전역 평균 정확도 92.53%를 기록하여, Replay, EWC, LwF, GDF, CWR, OWM를 포함한 모든 기준선을 앞서는 최고 성능을 달성했다.
• ASVspoof 및 ADD 가짜 음성 탐지 벤치마크에서 RAWM은 최종 경험(Exp10)에서 95.25%의 정확도를 기록했으며, OWM(95.05%) 및 기타 방법을 능가했다.
• 교차 데이터셋 탐지에서 RAWM은 재조정 훈련, EWC, LwF, GDF, CWR, OWM를 크게 앞서며 분포 이동에 대한 강건성을 입증했다.
• Exp3 및 Exp8에서 RAWM은 Replay 방법의 상한선 성능에 매우 가까이 접근하여 강력한 지식 유지 능력을 보였다.
• 단 몇 개의 샘플만으로도 훈련해도 높은 성능을 유지하여 뛰어난 샘플 효율성을 보였다.
• 정규화 구성 요소는 음향 조건 변화 상황에서도 이전 특징 분포를 효과적으로 유지하여 도전적인 교차 데이터셋 환경에서의 일반화 성능을 향상시켰다.

(b)