[論文レビュー] Zero-Shot Audio Classification via Semantic Embeddings

Huang Xie, Tuomas Virtanen|arXiv (Cornell University)|Nov 24, 2020

Music and Audio Processing参考文献 37被引用数 4

ひとこと要約

本稿では、未学習の音声クラスの分類を可能にするゼロショット音声分類手法を提案する。テキストラベルや文の記述から得られる意味的埋め込みを活用し、VGGishに基づく音響埋め込みと意味的埋め込み（例：Word2Vec、GloVe、BERT）の二重線形適合関数を用いることで、ESC-50およびAudioSetの両データセットで顕著な性能向上を達成する。特に、複数の言語モデル出力の連結により、顕著な性能向上が得られる。

ABSTRACT

In this paper, we study zero-shot learning in audio classification via semantic embeddings extracted from textual labels and sentence descriptions of sound classes. Our goal is to obtain a classifier that is capable of recognizing audio instances of sound classes that have no available training samples, but only semantic side information. We employ a bilinear compatibility framework to learn an acoustic-semantic projection between intermediate-level representations of audio instances and sound classes, i.e., acoustic embeddings and semantic embeddings. We use VGGish to extract deep acoustic embeddings from audio clips, and pre-trained language models (Word2Vec, GloVe, BERT) to generate either label embeddings from textual labels or sentence embeddings from sentence descriptions of sound classes. Audio classification is performed by a linear compatibility function that measures how compatible an acoustic embedding and a semantic embedding are. We evaluate the proposed method on a small balanced dataset ESC-50 and a large-scale unbalanced audio subset of AudioSet. The experimental results show that classification performance is significantly improved by involving sound classes that are semantically close to the test classes in training. Meanwhile, we demonstrate that both label embeddings and sentence embeddings are useful for zero-shot learning. Classification performance is improved by concatenating label/sentence embeddings generated with different language models. With their hybrid concatenations, the results are improved further.

研究の動機と目的

• 訓練データが一切ない音声クラスの分類を、意味的補足情報のみを用いて可能にする。
• ラベル埋め込みと文埋め込みがゼロショット音声分類に与える有効性を調査する。
• 複数の事前学習済み言語モデルからの意味的埋め込みを組み合わせることで分類性能を向上させる。
• 小規模でバランスの取れた（ESC-50）および大規模でアンバランスな（AudioSet）データセットの両方で手法を評価する。
• 異なる埋め込み融合戦略がゼロショット学習性能に与える影響を調査する。

提案手法

• 音声クリップから深層音響埋め込みを抽出するためにVGGishを用いる。
• 音声クラスのテキストラベルまたは文の記述から、事前学習済み言語モデル（Word2Vec、GloVe、BERT）を用いて意味的埋め込みを生成する。
• 分類のため、音響埋め込みと意味的埋め込みの適合性を測るために二重線形適合関数を採用する。
• 異なる言語モデルからのラベル／文の埋め込みを連結してハイブリッド意味的表現を構築する。
• 音響埋め込みと意味的埋め込みの適合スコアを用いて線形分類器を訓練する。
• 性能差の統計的有意性を評価するために、McNemar検定を適用する。

実験結果

リサーチクエスチョン

• RQ1 テキストラベルや文の記述から得られる意味的埋め込みは、ゼロショット音声分類を効果的に可能にするか？
• RQ2 ラベル埋め込みと文埋め込みを用いた場合、ゼロショット音声分類の性能はどのように変化するか？
• RQ3 複数の言語モデルからの意味的埋め込みを連結することで分類性能が向上するか？
• RQ4 言語モデルの選択（例：Word2Vec、GloVe、BERT）は、ゼロショット学習における意味的表現の質にどのように影響するか？
• RQ5 埋め込み融合戦略（例：ラベルと文の埋め込みのハイブリッド連結）が分類精度に与える影響は何か？

主な発見

• テストクラスと意味的に類似した音声クラスを訓練に含めることで、ESC-50における分類性能が顕著に向上する。
• ラベル埋め込みと文埋め込みの両方がゼロショット音声分類に有効であり、一部の設定では文埋め込みがより優れた性能を示す。
• 複数の言語モデル（例：Word2Vec、GloVe、BERT）からの埋め込みを連結することで、個別のモデルに比べて分類精度が向上する。
• ラベル埋め込みと文埋め込みのハイブリッド連結（例：WLE+BSE、GLE+BSE）が最も優れた結果をもたらし、AudioSetではTop-1精度が48.5%に達する。
• 統計的有意性検定（McNemar検定、p = 5.41e-13）により、GLE+BSEに比べてWLE+GLE+BSEの性能向上が顕著に有意であると確認された。
• 本手法は、AudioSetのような大規模でアンバランスなデータセットに対しても強力な一般化性能を示しており、小規模ベンチマークを超えたスケーラビリティを示している。