[論文レビュー] HEAR: Holistic Evaluation of Audio Representations

Joseph Turian, Jordie Shier+21 more|arXiv (Cornell University)|Mar 6, 2022

Music and Audio Processing被引用数 36

ひとこと要約

HEAR ベンチマークは、共通 API と凍結埋め込みを用いて、音声、環境音、音楽にまたがる 19 の多様なタスクで 29 モデルを評価し、汎用的な音響埋め込みを評価します。

ABSTRACT

What audio embedding approach generalizes best to a wide range of downstream tasks across a variety of everyday domains without fine-tuning? The aim of the HEAR benchmark is to develop a general-purpose audio representation that provides a strong basis for learning in a wide variety of tasks and scenarios. HEAR evaluates audio representations using a benchmark suite across a variety of domains, including speech, environmental sound, and music. HEAR was launched as a NeurIPS 2021 shared challenge. In the spirit of shared exchange, each participant submitted an audio embedding model following a common API that is general-purpose, open-source, and freely available to use. Twenty-nine models by thirteen external teams were evaluated on nineteen diverse downstream tasks derived from sixteen datasets. Open evaluation code, submitted models and datasets are key contributions, enabling comprehensive and reproducible evaluation, as well as previously impossible longitudinal studies. It still remains an open question whether one single general-purpose audio representation can perform as holistically as the human ear.

研究の動機と目的

• 多様なタスクにファインチューニングなしで転送可能な、単一の一般目的オーディオ表現の必要性を喚起する。
• 複数ドメインに跨る音響表現のための広範で公開・再現可能な評価フレームワークを提供する。
• 共通 API、公開データセット、およびモデル間比較用の評価コードを提供して、迅速な反復を可能にする。

提案手法

• 多様なモデルからの埋め込みをダウンストリームタスク用にラップする共通の HEAR API を提供する。
• 埋め込みを、シーンベースの分類とタイムスタンプベースの音イベント検出の二つのタスクタイプで評価し、凍結済みの埋め込みを浅い MLP に供給する。
• データセットを標準的な分割とオープンライセンスを持つ共通フォーマットへ前処理して再現性を促進する。
• オープンソースの評価コードと標準化された前処理を用いて、モデル間比較と長期的研究を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の一般目的オーディオ表現は、音声・環境音・音楽のタスクを総合的にこなすことができるか。
• RQ2 異なる事前学習方式（教師あり vs 自己教師あり、単一ドメイン vs マルチモーダル）が、タスク横断の転移可能性にどう影響するか。
• RQ3 埋め込みのどの層や融合戦略が、ファインチューニングなしで最良の汎化をもたらすか。

主な発見

• 複数のモデルが、最後の層だけでなく非最終層や融合層が転用に有利であることを示す。
• ピッチ特異的埋め込み（例: CREPE）を取り入れたモデルは、NSynth Pitch や Maestro のようなピッチ関連タスクで高性能を示す。
• AudioSet 事前学習のセマンティック・オブジェクトタグ付けモデルは、ESC-50 や GTZAN ジャンルタグ付けのような広範なタスクとの相関がある。
• CP-JKU PaSST モデルはファインチューニングなしで FSD50K において最先端の mean average precision を達成した。
• 強力な音声モデルは、感情認識や言語識別など、音声関連タスクでしばしば高い性能を発揮する。
• このベンチマークはオープン性・再現性を強調し、真に包括的な音響表現を達成する難しさを示している。