[論文レビュー] ImKWS: Test-Time Adaptation for Keyword Spotting with Class Imbalance

Hanyu Ding, Yang Xiao+2 more|arXiv (Cornell University)|Mar 6, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

ImKWSは、極端なクラス不均衡下でのテスト時適応を実現するため、分離したエントロピー最小化とマルチビュー一貫性を導入し、マクロF1を向上させつつキーワード感度を維持する。

ABSTRACT

Keyword spotting (KWS) identifies words for voice assistants, but environmental noise frequently reduces accuracy. Standard adaptation fixes this issue and strictly requires original or labeled audio. Test time adaptation (TTA) solves this data constraint using only unlabeled test audio. However, current methods fail to handle the severe imbalance between rare keywords and frequent background sounds. Consequently, standard entropy minimization (EM) becomes overconfident and heavily biased toward the frequent background class. To overcome this problem, we propose a TTA method named ImKWS. Our approach splits the entropy process into a reward branch and a penalty branch with separate update strengths. Furthermore, we enforce consistency across multiple audio transformations to ensure stable model updates. Experiments on the Google Speech Commands dataset indicate ImKWS achieves reliable adaptation in realistic imbalanced scenarios. The code is available on GitHub.

研究の動機と目的

• 環境ノイズや分布シフトに対して、ターゲットデータのラベル付きを持たず、ソースデータにもアクセスできない状況での堅牢なキーワードスポット（KWS）の促進。
• テスト時適応中に発生するキーワードと背景クラスの深刻な不均衡に対処。
• 少数派キーワード検出を維持しつつ、背景の過信を回避する手法を開発。
• 現実的なノイズと不均衡シナリオを用いた標準KWSベンチマークで手法を評価。

提案手法

• 分離エントロピー最小化（DEM）：エントロピーを、温度調整済み分布を持つ報酬項と、過半数クラスの更新を抑制するよう調整可能なペナルティ項に分割。
• ペナルティ項Q_alpha(z)は、背景クラスに対する過信を減らすようスケールされたlog-sum-expを使用。
• 勾配解析により、α<1.0が非ターゲットロジットの過度な抑制を抑制することを示す。
• マルチビュー一貫性損失は、Symmetric Cross-Entropyを介して増強された音声ビュー間での予測の一貫性を課す。
• 2段階のサンプル選択で、DEMと擬似ラベルの一貫性（PKC）閾値を用いて損失更新前にサンプルをフィルタ。
• 全体の目的は、DEM損失と、選択サンプルに対する重み付き一貫性損失を組み合わせ、サンプル依存ウェイトw(x)を加える。
• 実装は、MFCC特徴量と時間/周波数マスキングなどの標準的なオーディオオーグメンテーションを用いた軽量なBC-ResNet-3 KWSベースラインを採用。

Figure 1: Overview of the Proposed ImKWS Method, including Two-stage Sample Selection, Decoupled Entropy Minimization and Multi-view Consistency Loss.

実験結果

リサーチクエスチョン

• RQ1 ソースデータアクセスなしで、KWSのテスト時適応（TTA）は極端なキーワード-背景の不均衡にも頑健か。
• RQ2 エントロピー最小化を報酬分岐とペナルティ分岐に分離することで、背景過信を減少させつつキーワード感度を維持できるか。
• RQ3 マルチビュー一貫性を課すことで、勾配更新が安定し、ノイズが多く不均衡な条件下で性能が改善されるか。
• RQ4 さまざまなSNRと不均衡比において、ImKWSは既存のTTAベースラインと比較してどの程度の性能を示すか。

主な発見

Dataset	Methods	-10 dB	0 dB	10 dB
ESC-50	Unadapted	61.87 / 91.32	74.06 / 93.46	81.91 / 95.10
ESC-50	TBN	69.14 / 89.83	77.41 / 92.65	83.15 / 94.56
ESC-50	Tent	68.99 / 89.83	77.32 / 92.66	82.86 / 94.44
ESC-50	SAR	69.35 / 89.95	77.14 / 92.60	82.80 / 94.46
ESC-50	ETA	69.29 / 89.88	77.27 / 92.62	82.66 / 94.43
ESC-50	AdaKWS	69.68 / 90.25	77.55 / 92.72	82.89 / 94.47
ESC-50	ImKWS	70.91 / 91.20	78.98 / 93.57	84.51 / 95.23
MS-SNSD	Unadapted	61.33 / 90.75	73.69 / 92.88	80.44 / 94.65
MS-SNSD	TBN	66.66 / 89.54	74.43 / 91.85	79.80 / 93.55
MS-SNSD	Tent	67.06 / 89.98	74.86 / 92.13	79.72 / 93.54
MS-SNSD	SAR	66.25 / 89.46	74.06 / 91.81	79.63 / 93.53
MS-SNSD	ETA	66.52 / 89.58	74.61 / 92.01	79.95 / 93.61
MS-SNSD	AdaKWS	66.95 / 89.95	74.30 / 91.97	79.96 / 93.63
MS-SNSD	ImKWS	69.91 / 91.82	76.49 / 93.13	81.46 / 94.43

• ImKWSは、不均衡でノイズの多い条件下でも、AdaKWSや他のベースラインと比較してマクロF1を一貫して改善し、特に-10 dB SNRで顕著。
• 分離されたペナルティは非ターゲットロジットの過度な抑制を防ぎ、マジョリティクラスの崩壊を緩和。
• マルチビュー一貫性は勾配ノルムを安定化し、ストリーミング・低SNR設定での適応ロバスト性を高める。
• 不均衡比が1:4から1:8の範囲では、ImKWSはAdaKWSや他のベースラインと比較してMacro F1およびMicro F1を維持・向上。
• アブレーションにより、DEMまたは一貫性を欠くと性能が低下することが分かり、両方の要素が重要であることを確認。
• 結果は、ImKWSが不均衡の深刻さに応じて安定したTTAを達成することを示唆。

Figure 2: Keyword F1 and Non-keyword F1 on MS-SNSD nvironmental noise at -10 dB.