[論文レビュー] Cross-Language Speaker Attribute Prediction Using MIL and RL

Sunny Shu, Seyed Sahand Mohammadi Ziabari+1 more|arXiv (Cornell University)|Jan 6, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

この論文はDomain Adversarial Training (DAT)と多言語エンコーダを追加することでRL-MILを多言語設定へ拡張し、クロス言語話者属性予測の性能を改善。特にfew-shotおよびzero-shotシナリオで性別予測のMacro-F1が有意に向上。

ABSTRACT

We study multilingual speaker attribute prediction under linguistic variation, domain mismatch, and data imbalance across languages. We propose RLMIL-DAT, a multilingual extension of the reinforced multiple instance learning framework that combines reinforcement learning based instance selection with domain adversarial training to encourage language invariant utterance representations. We evaluate the approach on a five language Twitter corpus in a few shot setting and on a VoxCeleb2 derived corpus covering forty languages in a zero shot setting for gender and age prediction. Across a wide range of model configurations and multiple random seeds, RLMIL-DAT consistently improves Macro F1 compared to standard multiple instance learning and the original reinforced multiple instance learning framework. The largest gains are observed for gender prediction, while age prediction remains more challenging and shows smaller but positive improvements. Ablation experiments indicate that domain adversarial training is the primary contributor to the performance gains, enabling effective transfer from high resource English to lower resource languages by discouraging language specific cues in the shared encoder. In the zero shot setting on the smaller VoxCeleb2 subset, improvements are generally positive but less consistent, reflecting limited statistical power and the difficulty of generalizing to many unseen languages. Overall, the results demonstrate that combining instance selection with adversarial domain adaptation is an effective and robust strategy for cross lingual speaker attribute prediction.

研究の動機と目的

• RL–MILの多言語設定における話者属性予測のクロス言語一般化を評価する。
• 多言語埋め込み（mBERT, XLM-R）が単言語ベースラインと比較して性能に与える影響を評価する。
• Domain Adversarial Training (DAT)が言語不変表現および高資源言語から低資源言語への転移に与える影響を調査する。
• 複数言語に渡るfew-shot（Twitter）とzero-shot（VoxCeleb2）転移シナリオを検討する。

提案手法

• RL-MILを多言語エンコーダ（mBERT, XLM-R）と統合して拡張する。
• Gradient Reversal Layerとドメイン分類器を備えるDATモジュールを追加し、言語不変特徴を誘導する。
• RLポリシー損失、MILタスク損失、ドメイン（言語）分類損失を組み合わせた損失で学習する。
• 27構成（3エンコーダ×3プーリングヘッド×3学習フレームワーク）と5つのシードで評価。
• データセット処理にはツイートベースの多言語データ（5言語）と、ASR転写発話を用いたVoxCeleb2由来の40言語サブセットを含む。

Figure 1 : Methodology workflow: extended RL-MIL framework with parallel DAT module for cross-lingual speaker attribute prediction.

実験結果

リサーチクエスチョン

• RQ1 現代の多言語埋め込みはRL–MILフレームワーク内でのクロス言語話者属性予測を改善できるか。
• RQ2 Domain Adversarial Trainingを用いた言語不変表現学習が、特に英語から低資源言語へのクロス言語転移にどう影響するか。
• RQ3 few-shotおよびzero-shot設定におけるDATと他の構成要素（エンコーダ、プーリングヘッド）の貢献度の相対的比較はどうか。
• RQ4 多言語転送とDATは性別・年齢予測にそれぞれ異なる利益をもたらすか。

主な発見

• RLMIL-DATは27構成を通じて標準のMILおよび元のRL–MILより一貫してMacro-F1を改善する。
• 性別予測で最大の改善が見られ、エンコーダとプーリング次第で+0.17 Macro-F1(p ≤ 0.01)程度の有意な向上を達成。
• アブレーションにより、DATが言語不変表現を促進し、英語から低資源言語への転移を改善する主要因であることが示された。
• zero-shotのVoxCeleb2サブセットでは、統計的検出力の制約と40言語一般化の難題により、有意性が出やすい場面は少ないが方向性は常に正。
• 全体として、RL–MILの多言語設定への拡張と、クロス言語話者属性予測のためのインスタンス選択と敵対的ドメイン適応の組み合わせの有効性を検証した。

(a) Gender (MeanMLP)