[논문 리뷰] Does Fine-tuning by Reinforcement Learning Improve Generalization in Binary Speech Deepfake Detection?

XIN WANG, Ge Wanying외 1명|arXiv (Cornell University)|2026. 03. 03.

Speech Recognition and Synthesis인용 수 0

한 줄 요약

본 논문은 순수한 GRPO 기반 강화학습 파인튜닝이 SSL 기반 음성 딥페이크 탐지기의 도메인 외 일반화 성능을 향상시키고, 종종 지도학습 파인튜닝 및 SFT+GRPO 구성보다 우수하며, 부정적 보상이 핵심 역할을 한다고 제시한다.

ABSTRACT

Building speech deepfake detection models that are generalizable to unseen attacks remains a challenging problem. Although the field has shifted toward a pre-training and fine-tuning paradigm using speech foundation models, most approaches rely solely on supervised fine-tuning (SFT). Inspired by the field of large language models, wherein reinforcement learning (RL) is used for model fine-tuning, we investigate the impact of RL, specifically Group Relative Policy Optimization (GRPO). The results from experiments using multiple detectors and test sets indicate that pure GRPO-based fine-tuning improves performance on out-of-domain test sets while maintaining performance on target-domain test data. This approach outperforms both SFT-only and hybrid setups. Our ablation studies further suggest that the negative reward in GRPO may be a key factor in this improvement.

연구 동기 및 목표

• 언 seen 공격 및 도메인에 대한 음성 딥페이크 탐지기의 일반화를 견고하게 만들고자 한다.
• 감독 학습 파인튜닝의 대안으로 강화학습 기반 파인튜닝(GRPO)을 평가한다.
• 여러 사전 학습된 SSL 프런트엔드(XLS-R-2B, MMS-1B, MMS-300M)에서 GRPO를 SFT 및 SFT+GRPO와 비교한다.
• GRPO가 사전 학습 지식의 유지에 어떤 영향을 주고 도메인 변화에 어떤 영향을 미치는지 분석한다.

제안 방법

• 사전 학습된 SSL 프런트엔드(XLS-R-2B, MMS-1B, MMS-300M)를 사용하는 다단계 학습 파이프라인을 채택한다.
• SFT, 순수 GRPO, GRPO 변형을 사용하여 파인튜닝한다.
• REAL/FAKE 이진 출력에 대해 규제 없이/있는 간소화된 GRPO 손실을 적용하고 온-폴리시와 유사한 업데이트를 사용한다.
• 보상은 올바른 예측에 대한 0/1 지표로 정의하고 입력 당 여러 샘플에 걸쳐 그룹 정규화된 이점을 계산하기 위해 GRPO를 사용한다.
• GRPO 하이퍼파라미터(G=64 롤아웃, beta=0.04)를 설정하고 prior DeepSeekMath 및 AntiDeepfake 레시피를 따른 SFT 및 GRPO 변형과 비교한다.
• 다양한 음성 길이가 있는 도메인 내(DFE24) 및 도메인 외(ADD23, FoR, DV, ItW) 세트에서 평가한다.

실험 결과

연구 질문

• RQ1 GRPO 기반 파인튜닝이 보지 못한 딥페이크 공격 및 도메인에 대한 일반화를 SFT와 비교하여 개선하는가?
• RQ2 GRPO가 파인튜닝 중 사후 학습 지식의 유지와 붕괴 간 차이에 어떤 영향을 미치는가?
• RQ3 GRPO 구성 요소(부정적 보상, 규제)가 이진 탐지기의 도메인 외 성능에 어떤 역할을 하는가?

주요 결과

• 순수 GRPO 기반 파인튜닝은 다수의 사전 학습된 탐지기에서 도메인 외 탐지 성능을 향상시킨다.
• GRPO는 도메인 내 성능을 GRPO-양성 설정과 유사하게 유지하는 경향이 있으며, 보이지 않는 데이터에 대한 악화를 감소시킨다.
• 부정적 보상이 없는 GRPO는 도메인 외 테스트에서 성능이 더 떨어지는 경향이 있어 부정적 보상의 핵심 역할을 시사한다.
• GRPO의 규제가 일부 도메인에서 도움이 되지만, 규제가 너무 강하면 제한적 적합화로 이어질 수 있다.
• 사전 학습된 모델에 GRPO를 적용하면 도메인 외 데이터에서 SFT를 능가하지만, 보이지 않는 도메인에 대해 SFT가 유사하거나 더 나쁜 수준으로 악화될 수 있다.