[논문 리뷰] ImKWS: Test-Time Adaptation for Keyword Spotting with Class Imbalance

Hanyu Ding, Yang Xiao외 2명|arXiv (Cornell University)|2026. 03. 06.

Speech Recognition and Synthesis인용 수 0

한 줄 요약

ImKWS는 극심한 클래스 불균형 하에서 키워드 발견의 테스트 시 적응을 위해 해로운 엔트로피 최소화의 분리와 다중 뷰 일관성을 도입하여 매크로 F1을 향상시키면서 키워드 민감도를 유지한다.

ABSTRACT

Keyword spotting (KWS) identifies words for voice assistants, but environmental noise frequently reduces accuracy. Standard adaptation fixes this issue and strictly requires original or labeled audio. Test time adaptation (TTA) solves this data constraint using only unlabeled test audio. However, current methods fail to handle the severe imbalance between rare keywords and frequent background sounds. Consequently, standard entropy minimization (EM) becomes overconfident and heavily biased toward the frequent background class. To overcome this problem, we propose a TTA method named ImKWS. Our approach splits the entropy process into a reward branch and a penalty branch with separate update strengths. Furthermore, we enforce consistency across multiple audio transformations to ensure stable model updates. Experiments on the Google Speech Commands dataset indicate ImKWS achieves reliable adaptation in realistic imbalanced scenarios. The code is available on GitHub.

연구 동기 및 목표

• 환경 소음 및 분포 변화 하에서 라벨이 달린 대상 데이터나 소스 데이터에 접근하지 못한 상태에서도 robust한 키워드 발견(KWS)을 추구한다.
• 테스트 시 적응 중 키워드 대 배경 클래스 간의 심각한 불균형을 다룬다.
• 소수 키워드 탐지를 보존하면서 배경 오히려 과신을 피하는 방법을 개발한다.
• 현실적 소음과 불균형 시나리오를 갖춘 표준 KWS 벤치마크에서 접근법을 평가한다.

제안 방법

• DEM(Decoupled Entropy Minimization): 엔트로피를 이온 보상 항과 온도 제어 분포의 보상항으로 분리하고, 다수 클래스 업데이트를 억제하기 위한 tunable 스케일의 페널티항으로 분리한다.
• 페널티 항 Q_alpha(z)는 배경 클래스에 대한 과신을 줄이기 위해 스케일링된 로그-합 지수(log-sum-exp)를 사용한다.
• 그래디언트 분석은 alpha < 1.0이 비대상 로짓의 공격적 억제를 감소시키는 방식을 보여준다.
• 다중 뷰 일관성 손실은 대칭 교차 엔트로피를 통해 증강된 오디오 뷰 간 예측의 일관성을 강제한다.
• 두 단계 샘플 선택은 DEM 및 의사레이블 일관성(PKC) 임계치를 사용하여 손실 업데이트 이전의 샘플을 필터링한다.
• 전반적 목표는 DEM 손실과 선택된 샘플에 대한 가중 일관성 손실을 결합하고, 샘플 의존적 가중치 w(x)를 더한다.
• 구현은 MFCC 특징과 시간/주파수 마스킹과 같은 표준 오디오 증가를 사용하는 경량 BC-ResNet-3 KWS 백본을 활용한다.

Figure 1: Overview of the Proposed ImKWS Method, including Two-stage Sample Selection, Decoupled Entropy Minimization and Multi-view Consistency Loss.

실험 결과

연구 질문

• RQ1 KWS를 위한 테스트 시 적응이 소스 데이터 접근 없이도 극심한 키워드-배경 불균형에 견딜 수 있는가?
• RQ2 보상 항과 페널티 분기로 엔트로피 최소화를 분리하는 것이 배경 과신을 줄이면서 키워드 민감도를 보존하는가?
• RQ3 다중 뷰 일관성 강제는 노이즈가 많고 불균형한 조건에서 그래디언트 업데이트를 안정시키고 성능을 향상시키는가?
• RQ4 다양한 SNR 및 불균형 비율에서 기존 TTA 기반선과 비교해 ImKWS의 성능은 어떤가?

주요 결과

데이터셋	방법	-10 dB	0 dB	10 dB
ESC-50	Unadapted	61.87 / 91.32	74.06 / 93.46	81.91 / 95.10
ESC-50	TBN	69.14 / 89.83	77.41 / 92.65	83.15 / 94.56
ESC-50	Tent	68.99 / 89.83	77.32 / 92.66	82.86 / 94.44
ESC-50	SAR	69.35 / 89.95	77.14 / 92.60	82.80 / 94.46
ESC-50	ETA	69.29 / 89.88	77.27 / 92.62	82.66 / 94.43
ESC-50	AdaKWS	69.68 / 90.25	77.55 / 92.72	82.89 / 94.47
ESC-50	ImKWS	70.91 / 91.20	78.98 / 93.57	84.51 / 95.23
MS-SNSD	Unadapted	61.33 / 90.75	73.69 / 92.88	80.44 / 94.65
MS-SNSD	TBN	66.66 / 89.54	74.43 / 91.85	79.80 / 93.55
MS-SNSD	Tent	67.06 / 89.98	74.86 / 92.13	79.72 / 93.54
MS-SNSD	SAR	66.25 / 89.46	74.06 / 91.81	79.63 / 93.53
MS-SNSD	ETA	66.52 / 89.58	74.61 / 92.01	79.95 / 93.61
MS-SNSD	AdaKWS	66.95 / 89.95	74.30 / 91.97	79.96 / 93.63
MS-SNSD	ImKWS	69.91 / 91.82	76.49 / 93.13	81.46 / 94.43

• ImKWS는 불균형하고 노이즈가 있는 조건에서 강력한 기반선 대비 매크로 F1을 일관되게 향상시키며 특히 -10 dB SNR에서 두드러진다.
• 분리된 페널티는 비대상 로짓의 과도한 억제를 방지하여 다수 클래스 붕괴를 완화한다.
• 다중 뷰 일관성은 그래디언트 노름을 안정화하고 스트리밍, 저 SNR 설정에서 적응의 견고성을 높인다.
• 불균형 비율이 1:4에서 1:8까지 변할 때 ImKWS는 AdaKWS 및 다른 기반선과 비교해 Macro F1 및 Micro F1을 유지하거나 향상시킨다.
• 아블레이션은 DEM 또는 일관성을 제거하면 성능이 저하되어 두 구성 요소의 중요성을 확인한다.
• 결과는 ImKWS가 불균형 심화에 따라 확장되는 안정적인 TTA를 달성함을 시사한다.

Figure 2: Keyword F1 and Non-keyword F1 on MS-SNSD nvironmental noise at -10 dB.