[論文レビュー] Does Fine-tuning by Reinforcement Learning Improve Generalization in Binary Speech Deepfake Detection?

XIN WANG, Ge Wanying+1 more|arXiv (Cornell University)|Mar 3, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

この論文は、純粋な GRPO ベースの強化学習ファインチューニングが SSL ベースの音声ディープフェイク検出器の未知ドメイン一般化を改善し、監督付きファインチューニングおよび SFT+GRPO 設定を上回ることが多く、ネガティブ報酬が重要な役割を果たす、ということを示している。

ABSTRACT

Building speech deepfake detection models that are generalizable to unseen attacks remains a challenging problem. Although the field has shifted toward a pre-training and fine-tuning paradigm using speech foundation models, most approaches rely solely on supervised fine-tuning (SFT). Inspired by the field of large language models, wherein reinforcement learning (RL) is used for model fine-tuning, we investigate the impact of RL, specifically Group Relative Policy Optimization (GRPO). The results from experiments using multiple detectors and test sets indicate that pure GRPO-based fine-tuning improves performance on out-of-domain test sets while maintaining performance on target-domain test data. This approach outperforms both SFT-only and hybrid setups. Our ablation studies further suggest that the negative reward in GRPO may be a key factor in this improvement.

研究の動機と目的

• 未見の攻撃とドメインへ対する音声ディープフェイク検出器の頑健な一般化を動機づける。
• 監督付きファインチューニングの代替として強化学習ベースのファインチューニング（GRPO）を評価する。
• 複数の事後学習済み SSL フロントエンドに対して GRPO を SFT および SFT+GRPO と比較する。
• GRPO が事後学習からの知識保持とドメインドリフトへの影響を分析する。

提案手法

• 事後学習済み SSL フロントエンド（XLS-R-2B、MMS-1B、MMS-300M）を用いた多段階トレーニングパイプラインを採用する。
• 監督付きファインチューニング（SFT）、純粋な GRPO、GRPO のバリアントを用いてファインチューニングを行う。
• 2値出力（REAL/FAKE）に対して正則化有/なしの簡易GRPO損失を適用し、オンポリシー風の更新スキームを使用する。
• 報酬を正解予測の0/1指標として定義し、入力ごとに複数サンプルを横断してグループ正規化されたアドバンテージを GRPO で計算する。
• GRPO ハイパーパラメータを設定（G=64 ロールアウト、beta=0.04）し、前述の DeepSeekMath および AntiDeepfake のレシピに従って SFT および GRPO バリアントと比較する。
• 評価はドメイン内データ（DFE24）と未知ドメインデータセット（ADD23、FoR、DV、ItW）を対象とし、複数の発話長を用いる。

実験結果

リサーチクエスチョン

• RQ1 GRPO ベースのファインチューニングは、未知のディープフェイク攻撃やドメインへの一般化を SFT と比較して改善するか。
• RQ2 GRPO はファインチューニング時の事後学習知識の保持と破壊的忘却にどう影響するか。
• RQ3 GRPO の構成要素（ネガティブ報酬、正則化）は未知ドメインでのバイナリ検出器の性能にどのような影響を与えるか。

主な発見

• 純粋な GRPO ベースのファインチューニングは、複数の事後学習済み検出器に対して未知ドメインでの検出性能を改善する。
• GRPO は、未知データの劣化を抑えつつ、ドメイン内性能を GRPOPositive セットアップと同様に維持する傾向がある。
• ネガティブ報酬なしの GRPO は未知ドメインのテストで低性能となる傾向があり、ネガティブ報酬が重要な要因であることを示唆する。
• GRPO の正則化は一部ドメインで有効だが、過度の正則化は過学習を招く可能性がある。
• 事後学習済みモデルに適用した GRPO は未知ドメインデータで SFT を上回る一方、SFT は未知ドメインで同等またはそれ以下に悪化することがある。