[论文解读] ACES: Accent Subspaces for Coupling, Explanations, and Stress-Testing in Automatic Speech Recognition

Swapnil Parekh|arXiv (Cornell University)|Feb 28, 2026

Phonetics and Phonology Research被引用 0

一句话总结

ACES 通过提取带有口音辨别性的子空间、对亚空间受限攻击进行压力测试，以及评估投射去除干预来评估口音信息与识别之间的耦合，从而审计ASR模型的口音公平性。结果显示口音子空间攻击放大了七种口音之间的WER差异，而简单的擦除会恶化性能。

ABSTRACT

ASR systems exhibit persistent performance disparities across accents, but whether these gaps reflect superficial biases or deep structural vulnerabilities remains unclear. We introduce ACES, a three-stage audit that extracts accent-discriminative subspaces from ASR representations, constrains adversarial attacks to them, and tests whether removing them improves fairness. On Wav2Vec2-base with seven accents, imperceptible perturbations (~60 dB SNR) along the accent subspace amplify the WER disparity gap by nearly 50% (21.3->31.8 pp), exceeding random-subspace controls; a permuted-label test confirms specificity to genuine accent structure. Partially removing the subspace worsens both WER and disparity, revealing that accent-discriminative and recognition-critical features are deeply entangled. ACES thus positions accent subspaces as powerful fairness-auditing tools, not simple erasure levers.

研究动机与目标

• 理解跨口音的 WER 差异是否反映深层结构性脆弱性，而非表面偏差的动机
• 提出 ACES，一种三阶段审计方法，用于提取口音子空间、在受限攻击下进行压力测试，并评估干预措施
• 量化表示中的口音辨别方向与识别性能和公平性之间的关系

提出的方法

• 使用 Wav2Vec2-base 表示的均值池化层嵌入和岭回归探针提取口音子空间，以最大化口音辨别
• 将对抗性攻击限制在沿口音子空间移动表示，通过联合损失函数优化：CTC 损失 + 带有 L2 预算 ε 的子空间对齐项
• 在四种条件下评估扰动（干净、无限制 PGD、随机子空间、口音子空间），并测量耦合度 m(x) 和 WER 差异
• 在推理阶段进行投射去除干预，部分移除口音子空间以测试与差异的因果耦合
• 通过探针精度、稳定性（主角角度）以及投影与 WER 的相关性来验证子空间；使用置换标签对照作为特异性检验

Figure 1: ACES: subspace extraction, stress-test (waveform PGD, L2 $\varepsilon$ ), and project-out. Conceptually, the representation $\mathbf{h}$ is projected onto the plane spanned by $\mathbf{U}$ ; coupling $m(x)$ measures how much the attack moves $\mathbf{h}$ along that subspace.

实验结果

研究问题

• RQ1 扰动沿着口音辨别方向是否会让跨口音的 WER 差异相对于随机子空间更加显著？
• RQ2 在推理阶段移除口音子空间是否能够降低差异，表明口音信息与识别错误之间存在因果耦合？
• RQ3 在 ASR 表示中是否存在口音辨别特征与识别关键线索之间的纠缠迹象？
• RQ4 口音子空间效应与真实口音结构相比在多大程度上受数据派生伪影影响？
• RQ5 AC ES 在审计公平性和避免不安全的线性擦除干预方面的实际意义是什么？

主要发现

• 口音子空间攻击将 WER 差异从 21.3 点扩大到 31.8 点，超出随机子空间对照。
• 口音子空间攻击的平均耦合度 m(x) 大约是随机子空间攻击的两倍，表明更偏向激活口音方向。
• 置换标签对照消除了口音子空间的优势，进一步确认该效应对真实口音结构具有特异性。
• 部分投射去除（α=0.5）在干净条件下加剧 WER 和差异，表明口音辨别特征与识别关键特征是纠缠的，擦除并非可靠的公平性修复方法。
• 口音几何结构表明在早期层（2–4 层）解码性较高，随着层更深而减弱，指引了口音信息的编码位置。
• 在七种口音中，六种在攻击下显示出正向的口音子空间优势；对印度、百慕大、马来西亚的效应最强，对美国和威尔士的效应较小。

Figure 2: Three-track diagnostic (1-column): probe accuracy, corr(projection, WER), stability (principal angle, °) vs. layer. Layer 3 maximizes probe accuracy while maintaining stability below 50°; $k{=}8$ (dashed).