[論文レビュー] Learning to match transient sound events using attentional similarity for few-shot sound recognition

Szu-Yu Chou, Kai-Hsiang Cheng+2 more|arXiv (Cornell University)|Dec 4, 2018

Music and Audio Processing参考文献 22被引用数 3

ひとこと要約

本稿では、学習可能な注目メカニズムを用いて一時的な音声イベントに注目することで、少数ショット音声認識を向上させる注目型類似度モジュールを提案する。メトリックベースの学習フレームワークに統合された本モジュールは、短く特徴的な音声のマッチング精度を向上させ、5つのベースライン手法においてESC-50で4.1%～7.7%、ノイズありESC-50で2.1%～6.5%の相対的向上を達成した。

ABSTRACT

In this paper, we introduce a novel attentional similarity module for the problem of few-shot sound recognition. Given a few examples of an unseen sound event, a classifier must be quickly adapted to recognize the new sound event without much fine-tuning. The proposed attentional similarity module can be plugged into any metric-based learning method for few-shot learning, allowing the resulting model to especially match related short sound events. Extensive experiments on two datasets shows that the proposed module consistently improves the performance of five different metric-based learning methods for few-shot sound recognition. The relative improvement ranges from +4.1% to +7.7% for 5-shot 5-way accuracy for the ESC-50 dataset, and from +2.1% to +6.5% for noiseESC-50. Qualitative results demonstrate that our method contributes in particular to the recognition of transient sound events.

研究の動機と目的

• 少数の訓練例でのみ利用可能なレアまたは一時的な音声イベントを認識する課題に対処すること。
• メトリックベースの学習フレームワークにおける類似度マッチングを強化することで、少数ショット音声認識の性能を向上させること。
• インスタンスレベルのアノテーションを必要とせず、関連する音声セグメントに注目するようにモデルを誘導するプラグインモジュールを開発すること。
• 実世界の状況における耐性を評価するために、クリーンな音声とノイズあり音声のベンチマークの両方で手法を評価すること。

提案手法

• 注目型類似度モジュールは、標準の類似度関数の代わりに、音声クリップ内の関連する時間的セグメントを強調する学習可能な注目メカニズムを採用する。
• サポート例およびクエリ例の特徴マップに対して注目重みを計算し、背景ノイズよりも短い一時的なイベントに注目する。
• 本モジュールは微分可能であり、プロトタイプネットワークやマッチングネットワークなどの任意のメトリックベースの少数ショット学習モデルに統合可能である。
• 注目メカニズムは、インスタンスレベルのアノテーションを必要とせず、クリップレベルのラベルのみで学習される。
• バックボーンネットワークは、3×3畳み込み、バッチ正則化、ReLU、およびlogメルスペクトログラムへの4×4マックスプーリング層を備えたシンプルなCNNアーキテクチャを採用する。
• 学習にはクロスエントロピー損失とSGD、重み減衰、および学習率の段階的減少を用い、16 kHz音声からのzスコア正規化されたメルスペクトログラム特徴量を用いる。

実験結果

リサーチクエスチョン

• RQ1 注目型類似度モジュールは、特に一時的な音声イベントに対して、少数ショット音声認識の性能を向上させることができるか？
• RQ2 メトリックベースの学習における標準の類似度関数と比較して、注目型類似度モジュールはマッチング精度をどのように向上させるか？
• RQ3 本モジュールは、異なるメトリックベースの学習フレームワークおよびデータセット（ノイズあり音声を含む）に一般化可能か？
• RQ4 少数ショット分類の過程で、背景ノイズの干渉をどの程度軽減できるか？
• RQ5 インスタンスレベルのラベルを必要とせず、クリップレベルのアノテーションのみで効果的に学習可能か？

主な発見

• 5ウェイ5ショット設定において、5つのメトリックベースの学習手法すべてで、クリーンなESC-50データセットで4.1%～7.7%の精度向上を達成した。
• ノイズありESC-50データセットでは、5ウェイ5ショット学習で2.1%～6.5%の相対的向上を示し、環境ノイズに対して高い耐性を示した。
• 注目型類似度モジュールを搭載したプロトタイプネットワークは最高の性能を示し、5ウェイ5ショットのESC-50で74.2%、ノイズありESC-50で65.7%の精度に到達した。
• 定性的な分析から、注目付きモデルは一時的なイベントを正しくマッチングしているのに対し、ベースラインモデルは類似する沈黙時間の長さを持つクリップを選択する傾向にあった。
• 注目マップの結果から、本モジュールは背景ノイズを効果的に抑制し、短時間のイベントに注目を集中させることを裏付けた。
• 本手法は普遍的に適用可能であり、多様なメトリックベースのモデルで一貫した性能向上を示しており、強力な一般化能力を示している。