[論文レビュー] ACES: Accent Subspaces for Coupling, Explanations, and Stress-Testing in Automatic Speech Recognition

Swapnil Parekh|arXiv (Cornell University)|Feb 28, 2026

Phonetics and Phonology Research被引用数 0

ひとこと要約

ACES は ASR モデルを評估するため、アクセント判別サブスペースを抽出し、サブスペース制約付き攻撃でストレステストを行い、プロジェクトアウト介入を評価して、アクセント情報と認識の結合を評価します。結果は、アクセントサブスペース攻撃が seven つのアクセントで WER 不平等を増幅させ、単純な消去は性能を悪化させることを示します。

ABSTRACT

ASR systems exhibit persistent performance disparities across accents, but whether these gaps reflect superficial biases or deep structural vulnerabilities remains unclear. We introduce ACES, a three-stage audit that extracts accent-discriminative subspaces from ASR representations, constrains adversarial attacks to them, and tests whether removing them improves fairness. On Wav2Vec2-base with seven accents, imperceptible perturbations (~60 dB SNR) along the accent subspace amplify the WER disparity gap by nearly 50% (21.3->31.8 pp), exceeding random-subspace controls; a permuted-label test confirms specificity to genuine accent structure. Partially removing the subspace worsens both WER and disparity, revealing that accent-discriminative and recognition-critical features are deeply entangled. ACES thus positions accent subspaces as powerful fairness-auditing tools, not simple erasure levers.

研究の動機と目的

• アクセント間での WER の不均衡が深い構造的な脆弱性を反映しているのか、それとも表面的な偏りなのかを理解する必要性を動機づける。
• アクセントサブスペースを抽出し、制約付き攻撃でストレステストし、介入を評価する三段階の監査法である ACES を提案する。
• 表現におけるアクセント判別方向が認識性能と公正性にどう関連するかを定量化する。

提案手法

• mean-pooled レイヤー埋め込みと Ridge 探査を用いて Wav2Vec2-base 表現からアクセントサブスペースを抽出し、アクセント識別を最大化する。
• 合成損失を最適化して表現をアクセントサブスペースに沿って動かすよう、対敵攻撃を制約する：CTC 損失とサブスペース整合項の組み合わせ損失を L2 予算 ε で。
• 4 条件（クリーン、制約なし PGD、ランダムサブスペース、アクセントサブスペース）で摂動を評価し、結合 m(x) と WER の不均衡を測定する。
• 推論時にアクセントサブスペースを部分的に削除するプロジェクトアウト介入を実施し、 disparity との因果的結合を検証する。
• プローブ精度、安定性（主成分角度）、および射影と WER の相関を用いてサブスペースを検証する；特異性のチェックとしてシャッフルラベルのコントロールを用いる。

Figure 1: ACES: subspace extraction, stress-test (waveform PGD, L2 $\varepsilon$ ), and project-out. Conceptually, the representation $\mathbf{h}$ is projected onto the plane spanned by $\mathbf{U}$ ; coupling $m(x)$ measures how much the attack moves $\mathbf{h}$ along that subspace.

実験結果

リサーチクエスチョン

• RQ1 アクセント判別方向に沿って摂動させると、ランダムサブスペースと比較して WER の不均衡が悪化するか。
• RQ2 推論時にアクセントサブスペースを削除して不均衡を低減できるか、アクセント情報と認識誤差の因果結合を示唆するか。
• RQ3 ASR 表現におけるアクセント判別特徴と認識に重要な手掛かりとの絡み合いの兆候はあるか。
• RQ4 アクセントサブスペース効果は真のアクセント構造とデータ由来の人工物のどちらに特異か。
• RQ5 ACES が公正性の監査と安全でない線形消去介入を避ける実践的含意にどう寄与するか。

主な発見

• アクセントサブスペース攻撃により WER の不均衡が 21.3 ポイントから 31.8 ポイントへ増幅され、ランダムサブスペースの対照を上回る。
• アクセントサブスペース攻撃の平均結合 m(x) はランダムサブスペース攻撃のおよそ2倍であり、アクセント方向の選択的活性化を示唆。
• シャッフルラベルのコントロールはアクセントサブスペースの優位性を排除し、実際のアクセント構造に特異性があることを確認。
• 部分的プロジェクトアウト（α=0.5）はクリーン WER と disparity を悪化させ、アクセント判別特徴と認識上重要な手掛かりが絡み合っており、消去は公正性の信頼できる解決策ではないことを示唆。
• アクセント幾何は早い層（2–4）でデコーダ可能性が高く、深い層では緩やかになることを示唆し、アクセント情報が Encoding される場所を指針。
• 七つのアクセントのうち六つで攻撃下にアクセントサブスペース有利性が見られ、インド、バミューダ、マレーシアで最大の効果、米国とウェールズで小さな効果。

Figure 2: Three-track diagnostic (1-column): probe accuracy, corr(projection, WER), stability (principal angle, °) vs. layer. Layer 3 maximizes probe accuracy while maintaining stability below 50°; $k{=}8$ (dashed).