[論文レビュー] EdgeSpot: Efficient and High-Performance Few-Shot Model for Keyword Spotting

Oğuzhan Büyüksolak, Alican Gök+1 more|arXiv (Cornell University)|Jan 22, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

tldr: EdgeSpot は、BC-ResNet ボトムアップを PCEN フロントエンドと軽量な時系列自己注意で強化し、固定 FAR での精度を高めつつデバイス上のコストを抑えるエッジ最適化の few-shot キーワードスポットモデルです。4 番目の変種 EdgeSpot-4 は 10-shot の 1% FAR での精度を 82.0%、MACs は 29.4M、パラメータ数は 128k で達成します。

ABSTRACT

We introduce an efficient few-shot keyword spotting model for edge devices, EdgeSpot, that pairs an optimized version of a BC-ResNet-based acoustic backbone with a trainable Per-Channel Energy Normalization frontend and lightweight temporal self-attention. Knowledge distillation is utilized during training by employing a self-supervised teacher model, optimized with Sub-center ArcFace loss. This study demonstrates that the EdgeSpot model consistently provides better accuracy at a fixed false-alarm rate (FAR) than strong BC-ResNet baselines. The largest variant, EdgeSpot-4, improves the 10-shot accuracy at 1% FAR from 73.7% to 82.0%, which requires only 29.4M MACs with 128k parameters.

研究の動機と目的

• 低 FAR で高精度を維持できるコンパクトなアーキテクチャを活用して、デバイス上の FS-KWS を効率化する。
• 訓練可能な PCEN フロントエンドと軽量な時系列自己アテンションを統合して識別性を強化する。
• 自己教師あり teacher からの知識蒸留を活用して teacher の性能との差を縮める。
• EdgeSpot を BC-ResNet ベースラインと比較する際、プロトタイプベースの FS-KWS プロトコルで公正に比較する。
• MSWC および GSC データセットでのドメイン横断一般化を示す。

提案手法

• BC-ResNet を音響バックボーンとして採用し、edge への適合性を高める三つの拡張を適用する：訓練可能な PCEN フロントエンド、早期ブロック時系列経路統合、軽量な時系列自己アテンションヘッド。
• チャンネルごとの深さ方向性1次元畳み込みを介した相対時系列位置エンコーディングを導入してタイミング情報を捉える。
• 時間軸に沿った単一ヘッドのスケールド・ドットプロダクト・アテンションを用いて 64 次元の埋め込みを生成し、その後に発話レベルの埋め込みを得るための軽量 Conv1D ヘッドを適用。
• Wav2Vec2.0 ベースの teacher からの知識蒸留を、KD と Sub-center ArcFace (SCAF) の複合損失で行い、EdgeSpot の student をエンドツーエンドで訓練する。
• MSWC 英語トレイン分割で 40 エポック訓練を行い、より大きいモデルには SpecAugment を適用、推論は固定 FAR 阈値を用いたプロトタイプベースの意思決定に適応させる。
• MSWC およびクロスドメイン GSC データセットで FS-KWS プロトコルの下で評価し、再訓練済み BC-ResNet ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 EdgeSpot は FS-KWS において BC-ResNet ベースラインと比較してエッジ適合性のあるフットプリントでより高い精度を低い誤警報率で達成できるか。
• RQ2 PCEN の統合、早期フュージョン、時系列アテンションは few-shot キーワードスポットの識別埋め込み品質を改善するか。
• RQ3 EdgeSpot は 1-shot および 10-shot 条件下で MSWC から GSC へドメイン間転移がどの程度うまくいくか。
• RQ4 SCAF を用いた teacher–student 蒸留が EdgeSpot の性能に与える影響は、teacher およびベースラインと比較してどうか。
• RQ5 異なるモデル幅で EdgeSpot の各バリアントの計算コストとパラメータ量は、ベースラインと比較してどうか。

主な発見

• EdgeSpot は同じ FS-KWS プロトコル下で再訓練済み BC-ResNet ベースラインを一貫して上回り、特に低 FAR および 1-shot 条件で優位。
• EdgeSpot-4 は DET@5% および AUROC で teacher の性能に近づき、1% DET に小さなギャップがあるものの、1-shot および 10-shot の設定でほぼ同等。
• EdgeSpot-4 はほぼすべての指標で ResNet15 を上回り、デバイス上のコストも低いまま。
• クロスドメイン GSC テストでは、すべてのスケールで EdgeSpot の改善が見られ、特に FAR=1% で顕著。
• 10-shot の登録では EdgeSpot-4 がほぼ teacher の性能に達し、緩和した動作点でそれを超えることもあり、分布シフトにも強い転移を示す。
• 総じて EdgeSpot（SCAF 蒸留付き）は、厳格な FAR で teacher の識別力を多く回復しつつ、エッジ適合型リソース使用を維持する。