[論文レビュー] COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations

Xavier Favory, Konstantinos Drossos+2 more|Repositori digital de la UPF (Universitat Pompeu Fabra)|Jun 15, 2020

Music and Audio Processing参考文献 42被引用数 9

ひとこと要約

COALAは、対照的損失を用いて潜在的特徴を整列させることで、音声とタグの表現を共同で学習する共同アラインドオートエンコーダーフレームワークを提案する。これにより、意味的に豊かな音声埋め込みが得られる。この手法は、音声イベント認識、音楽ジャンル分類、楽器分類のタスクで競争力ある性能を発揮し、埋め込みが音響記述子と強く相関している。

ABSTRACT

Audio representation learning based on deep neural networks (DNNs) emerged as an alternative approach to hand-crafted features. For achieving high performance, DNNs often need a large amount of annotated data which can be difficult and costly to obtain. In this paper, we propose a method for learning audio representations, aligning the learned latent representations of audio and associated tags. Aligning is done by maximizing the agreement of the latent representations of audio and tags, using a contrastive loss. The result is an audio embedding model which reflects acoustic and semantic characteristics of sounds. We evaluate the quality of our embedding model, measuring its performance as a feature extractor on three different tasks (namely, sound event recognition, and music genre and musical instrument classification), and investigate what type of characteristics the model captures. Our results are promising, sometimes in par with the state-of-the-art in the considered tasks and the embeddings produced with our method are well correlated with some acoustic descriptors.

研究の動機と目的

• オンラインソースから得られる大規模かつ弱教師付きの音声-タグペアを活用することで、ラベル付き音声データの不足に課題に取り組む。
• 音声と意味的タグ埋め込みを整列させる統一された表現学習フレームワークを開発し、音響的および意味的特性を捉える。
• 高価な手動アノテーションに依存を減らすとともに、下流タスクで高い性能を維持する自己教師学習または弱教師学習手法を構築する。
• 既存の音響記述子との相関を分析することで、学習された埋め込みの解釈可能性を調査する。

提案手法

• 音声入力（時間周波数表現）とマルチホットエンコーディングされたタグのそれぞれに対して、別々のオートエンコーダーを訓練し、各々が潜在的表現を学習する。
• 音声と関連するタグの潜在的表現の一致を最大化する対照的損失を適用し、意味的整列を促進する。
• 再構成損失（各モodalごと）と対照的損失（モダリティ間）を同時に最適化することで、2つのオートエンコーダーを共同で正則化する。
• 温度スケーリングを施した対照的損失を用いて表現の識別性を向上させ、ハイパーパrameterは検証を用いて調整する。
• ドロップアウト（25%）を適用し、バッチサイズ128で200エポックにわたりSGD最適化を用いたマルチステージトレーニングプロセスを採用する。
• 語の単数形への変換、ストップワードの除去、小文字化をタグベクトルの前処理に適用し、意味的一致性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 異種でマルチモodalな設定において、対照的学習は音声とタグの表現を効果的に整列させることができるか？
• RQ2 学習された音声埋め込みは、音の音響的および意味的特性をどの程度反映しているか？
• RQ3 下流の音声分類タスクで特徴抽出器として使用した場合、COALAの性能は最先端モデルと比べてどうか？
• RQ4 COALAが学習した埋め込みと標準的な音響記述子との相関はどの程度か？
• RQ5 タスク固有の微調整なしに、多様な音声ドメインに一般化できるか？

主な発見

• COALAは、音声イベント認識、音楽ジャンル分類、楽器分類のタスクで、評価されたベンチマークでしばしば最先端の結果を達成または上回る競争力ある性能を発揮する。
• モデルの埋め込みは、確立された音響記述子と強く相関しており、学習された表現が意味的で物理的な音の特徴を的確に捉えていることを示している。
• 対照的損失のコンponentは、ベースラインオートエンコーダーと比較して、より意味的に整合性のある埋め込みを生み出すために、音声とタグの表現の整列を顕著に改善している。
• タスク固有の適応を必要とせず、多様な音声タスクにうまく一般化しており、学習された特徴の頑健さと転移性を示している。
• 大規模で弱教師付きの音声-タグペアデータセットでの事前学習により、下流タスクでラベル付きデータが限られても、効果的な特徴転送が可能である。
• アブレーションスタディの結果、再構成損失と対照的損失の共同最適化が、単独で使用する場合よりも優れた性能をもたらすことが確認された。