[論文レビュー] Causally Disentangled Contrastive Learning for Multilingual Speaker Embeddings

Mariëtte Olijslager, Seyed Sahand Mohammadi Ziabari+1 more|arXiv (Cornell University)|Feb 1, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

論文は自己教師付きの SimCLR ベースの話者埋め込みにおける人口統計情報の漏洩を調査し、敵対的デバイアスと因果ボトルネックを比較して性別・年齢・アクセントといった人口統計情報を減らしつつ話者検証性能を評価します。強い線形の性別漏洩、非線形の年齢/アクセント漏洩は弱く、デバイアス強度と検証精度の間に顕著なトレードオフがあることを示します。

ABSTRACT

Self-supervised speaker embeddings are widely used in speaker verification systems, but prior work has shown that they often encode sensitive demographic attributes, raising fairness and privacy concerns. This paper investigates the extent to which demographic information, specifically gender, age, and accent, is present in SimCLR-trained speaker embeddings and whether such leakage can be mitigated without severely degrading speaker verification performance. We study two debiasing strategies: adversarial training through gradient reversal and a causal bottleneck architecture that explicitly separates demographic and residual information. Demographic leakage is quantified using both linear and nonlinear probing classifiers, while speaker verification performance is evaluated using ROC-AUC and EER. Our results show that gender information is strongly and linearly encoded in baseline embeddings, whereas age and accent are weaker and primarily nonlinearly represented. Adversarial debiasing reduces gender leakage but has limited effect on age and accent and introduces a clear trade-off with verification accuracy. The causal bottleneck further suppresses demographic information, particularly in the residual representation, but incurs substantial performance degradation. These findings highlight fundamental limitations in mitigating demographic leakage in self-supervised speaker embeddings and clarify the trade-offs inherent in current debiasing approaches.

研究の動機と目的

• SimCLR 訓練済み話者埋め込みにどれだけ人口統計情報がエンコードされているかを定量化する。
• 敵対的デバイアスが漏洩を低減しつつ話者検証性能を大幅に損なわないかを評価する。
• 因果ボトルネックが識別情報を preserve しつつ人口統計情報の漏洩をさらに抑制できるかを評価する。
• Common Voice 英語データセットでの漏洩と性能を検証し、外部データセットで頑健性を検証する。

提案手法

• 自己教師付き話者埋め込みのベースラインとして SimCLR を用いる。
• 線形プローブと MLP プローブを用いて人口統計漏洩を評価する（線形プローブと非線形プローブ）。
• 訓練中に勾配反転レイヤーと複数の人口統計分類器（性別・年齢・アクセント）を用いた敵対的デバイジングを適用する。
• 埋め込みをデモンストレージ分岐と残差分岐に分割する因果ボトルネックを導入し、独立性を強制する共変動ペナルティと残差分岐への敵対的圧力を課す。
• ボトルネックサイズ k と敵対的ウェイトを調整して漏洩・有用性のトレードオフを検討する。
• ROC-AUC と EER で話者検証を評価し、プロービング分類器で漏洩を評価し、外部データセットで頑健性を検証する。

Figure 1. Directed acyclic graph (DAG) of the causal bottleneck layer architecture. The diagram illustrates how the model explicitly separates speaker-discriminative information from demographic factors (gender, age, accent) by enforcing a causal structure in the embedding space.

実験結果

リサーチクエスチョン

• RQ1 Linear および非線形プローブを用いて SimCLR ベースの話者埋め込みに性別・年齢・アクセント情報がどれだけあるか？
• RQ2 敵対的デバイジングと因果ボトルネックのアーキテクチャは話者検証性能を著しく損なうことなく人口統計情報の漏洩を減らせるか？
• RQ3 自己教師付き話者埋め込みにおけるデバイジング強度と話者検証精度のトレードオフは？
• RQ4 因果ボトルネックは敵対的デバイジングを超える追加的な漏洩抑制を提供するか、特に非線形な人口統計情報に対してはどうか？

主な発見

• 性別情報はベースライン埋め込みに強く線形にエンコードされている（検証での線形プローブ > 0.9、テスト ~0.90）。
• 年齢情報はより弱く主に非線形（線形 ~0.43 のバリデーション、 ~0.38 のテスト；MLP ~0.40–0.47）。
• アクセント情報は最も弱く不安定で、線形 ~0.22–0.26、非線形 ~0.21–0.31。
• 敵対的デバイジングは性別漏洩を低減するが話者検証を害する；λ が大きいほど漏洩は低減するが ROC-AUC が低下し EER が上昇（例：λ が大きくなると ROC-AUC が 0.8295 から 0.6206 に低下、EER が上昇）。
• 年齢・アクセントについては敵対的デバイジングが漏洩を控えめに低減し、検証への影響は限定的または混在。
• 因果ボトルネックは特に残差分岐で人口統計情報をさらに抑制するが、検証性能の大幅な低下を招く；漏洩抑制はボトルネックサイズと敵対的ウェイトに依存。
• 外部検証として Sonos データセットでフレームワークの漏洩と頑健性の評価を裏付ける。