[논문 리뷰] ACES: Accent Subspaces for Coupling, Explanations, and Stress-Testing in Automatic Speech Recognition

Swapnil Parekh|arXiv (Cornell University)|2026. 02. 28.

Phonetics and Phonology Research인용 수 0

한 줄 요약

ACEs는 ASR 모델을 강세-차별 서브스페이스를 추출하고, 서브스페이스 제약 공격으로 스트레스 테스트를 수행하며, 강세 정보와 인식 간의 결합을 평가하기 위한 프로젝트 아웃 개입을 평가한다. 결과는 강세-서브스페이스 공격이 일곱 가지 강세에 걸친 WER 격차를 확대하는 반면, 단순한 삭제는 성능을 악화시킨다.

ABSTRACT

ASR systems exhibit persistent performance disparities across accents, but whether these gaps reflect superficial biases or deep structural vulnerabilities remains unclear. We introduce ACES, a three-stage audit that extracts accent-discriminative subspaces from ASR representations, constrains adversarial attacks to them, and tests whether removing them improves fairness. On Wav2Vec2-base with seven accents, imperceptible perturbations (~60 dB SNR) along the accent subspace amplify the WER disparity gap by nearly 50% (21.3->31.8 pp), exceeding random-subspace controls; a permuted-label test confirms specificity to genuine accent structure. Partially removing the subspace worsens both WER and disparity, revealing that accent-discriminative and recognition-critical features are deeply entangled. ACES thus positions accent subspaces as powerful fairness-auditing tools, not simple erasure levers.

연구 동기 및 목표

• WER 격차가 표면적 편향이 아니라 깊은 구조적 취약점을 반영하는지 이해해야 할 필요성을 동기화한다.
• 강세-서브스페이스를 추출하고, 제한된 공격으로 스트레스 테스트하며,介 interventions를 평가하는 ACES를 제안한다.
• 표현에서 강세를 구분하는 방향이 인식 성능과 공정성에 어떻게 관련되는지 정량화한다.

제안 방법

• Wav2Vec2-base 표현에서 평균 풀링된 계층 임베딩과 강세 구분을 최대화하는 라이드 프로브를 사용하여 강세 서브스페이스를 추출한다.
• 결합 손실(CTC 손실)과 L2 예산 ε와 함께 서브스페이스 정렬 항을 최적화하여 표현을 강세 서브스페이스 방향으로 이동하도록 적대적 공격을 제약한다.
• 네 가지 조건(정상, 제약 없는 PGD, 임의-서브스페이스, 강세-서브스페이스) 아래의扰动을 평가하고 결합 m(x)와 WER 격차를 측정한다.
• 추론 시 강세 서브스페이스를 부분적으로 제거하여 인과적 결합과 차이 간의 관계를 테스트한다.
• probe 정확도, 안정성(주요 각도), 투영과 WER 간의 상관관계로 서브스페이스를 검증하고 특이성 검사를 위해 재배열 라벨 제어를 사용한다.

Figure 1: ACES: subspace extraction, stress-test (waveform PGD, L2 $\varepsilon$ ), and project-out. Conceptually, the representation $\mathbf{h}$ is projected onto the plane spanned by $\mathbf{U}$ ; coupling $m(x)$ measures how much the attack moves $\mathbf{h}$ along that subspace.

실험 결과

연구 질문

• RQ1 강세 차별 방향으로扰动하는 것이 임의 서브스페이스를 넘어서 WER 격차를 악화시키는가?
• RQ2 추론 시 강세 서브스페이스를 제거하는 것이 격차를 줄여 강세 정보와 인식 오류 간의 인과 결합을 시사하는가?
• RQ3 ASR 표현에서 강세 차별 특징과 인식에 중요한 신호 간에 얽힘의 징후가 있는가?
• RQ4 강세-서브스페이스 효과가 실제 강세 구조에 대해서 데이터로부터 추출된 인공적 artefact에 얼마나 특이적인가?
• RQ5 ACEs가 공정성 감사를 위한 실용적 시사점과 안전하지 않은 선형 삭제 개입을 피하는 데 어떤 역할을 하는가?

주요 결과

• 강세-서브스페이스 공격은 WER 격차를 21.3포인트에서 31.8포인트로 확대하여 무작위 서브스페이스 제어를 능가한다.
• 강세-서브스페이스 공격의 평균 결합 m(x)은 무작위 서브스페이스 공격의 약 두 배에 달하여 강세 방향의 선택적 활성화를 시사한다.
• 재배열 라벨 제어는 강세-서브스페이스의 우위를 제거하여 실제 강세 구조에 대한 특이성을 확인한다.
• 부분적 프로젝트 아웃(α=0.5)은 정상 WER과 격차를 악화시켜 강세 차별 특징과 인식-필요 신호가 얽혀 있으며, 삭제가 공정성 개선의 신뢰할 수 있는 해결책이 아님을 시사한다.
• 강세 기하학은 디코딩 가능성이 초기 계층(2–4)에서 더 높고 깊은 계층에서 약화됨을 시사하여 강세 정보가 인코딩되는 위치를 가이드한다.
• 7개 강세 중 6개에서 공격하에서도 강세-서브스페이스 이점이 양의 방향으로 나타나며, 인도, 버뮤다, 말레이시아에서 가장 강하고 미국과 웨일즈에서 상대적으로 작다.

Figure 2: Three-track diagnostic (1-column): probe accuracy, corr(projection, WER), stability (principal angle, °) vs. layer. Layer 3 maximizes probe accuracy while maintaining stability below 50°; $k{=}8$ (dashed).