[論文レビュー] Deep Clustering For General-Purpose Audio Representations

Sreyan Ghosh, Sandesh V. Katta+2 more|arXiv (Cornell University)|Oct 17, 2021

Music and Audio Processing参考文献 23被引用数 6

ひとこと要約

DECAR は、オフラインクラスタリングを活用して予測タスクのための仮ラベルを生成することで、一般用途の音声表現を自己教師あり事前学習する手法である。これは、AudioSet のバランスの取れたサブセットで事前学習された軽量で効率的なフレームワークを用いて、9 つの下流音声分類タスク（話声、音楽、動物の鳴き声、環境音を含む）で強力な転移性能を達成する。

ABSTRACT

We introduce DECAR, a self-supervised pre-training approach for learning general-purpose audio representations. Our system is based on clustering: it utilizes an offline clustering step to provide target labels that act as pseudo-labels for solving a prediction task. We develop on top of recent advances in self-supervised learning for computer vision and design a lightweight, easy-to-use self-supervised pre-training scheme. We pre-train DECAR embeddings on a balanced subset of the large-scale Audioset dataset and transfer those representations to 9 downstream classification tasks, including speech, music, animal sounds, and acoustic scenes. Furthermore, we conduct ablation studies identifying key design choices and also make all our code and pre-trained models publicly available.

研究の動機と目的

• 人間によるラベル付けが不要な一般用途の音声表現を学習する自己教師あり事前学習アプローチの開発。
• クラスタリングを仮ラベルの供給源として用い、軽量でスケーラブルな方法で表現学習を監視する。
• 話声、音楽、動物の鳴き声、音響シーンを含む、多様な下流音声分類タスクへの学習表現の効果的な転移。
• アブレーションスタディを通じて、将来の自己教師あり音声表現学習を支援するための、アーキテクチャ的およびトレーニング設計の鍵となる選択要因の同定。
• 再現可能性および自己教師あり音声表現学習分野におけるさらなる研究を支援するため、コードおよび事前学習済みモデルの公開。

提案手法

• 大規模な音声データセット（AudioSet のバランスの取れたサブセット）に対してオフラインクラスタリングを適用し、訓練データの仮ラベルを生成する。
• クラスタ割り当てを対象ラベルとして、対照的予測タスクに用い、ニューラルネットワークがクラスタメンバーシップを予測するように学習させる。
• 自己教師あり事前学習に最適化された、軽量でエンドツーエンドのニューラルネットワークアーキテクチャを設計する。
• クラスタリングから導出された仮ラベルを用いた対照的学習目的関数に基づき、AudioSet サブセット上でモデルを事前学習する。
• 標準的な線形プローブまたはファインチューニングプロトコルを用いて、9 つの下流音声分類ベンチマークで学習済み表現をファインチューニングする。
• クラスタリング戦略、データバランス、モデルアーキテクチャの下流性能への影響を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的な対照的学習やマスキング自己符号化アプローチと比較して、クラスタリングに基づく仮ラベル付けは、自己教師あり音声表現の品質を向上させるか？
• RQ2 クラスタリングアルゴリズムの選択およびクラスタリングの細かさ（粒度）は、下流タスクの転移性能にどのように影響するか？
• RQ3 AudioSet のバランスの取れたサブセットで事前学習することで、話声、音楽、環境音など多様な音声ドメインに一般化できる程度はどの程度か？
• RQ4 クラスタリングに基づく自己教師あり表現学習の有効性に影響を与える主なアーキテクチャ的およびトレーニング設計要因は何か？
• RQ5 精度、効率性、実装の容易さの観点から、DECAR は既存の自己教師あり音声モデルと比較してどのように差をつけるか？

主な発見

• DECAR は、9 つの多様な下流音声分類タスクで強力な転移性能を達成し、自己教師あり事前学習におけるクラスタリングに基づく仮ラベル付けの有効性を示している。
• 事前学習段階で AudioSet のバランスの取れたサブセットを用いることで、不均衡なデータと比較してより強固で一般化可能な表現が得られる。
• アブレーションスタディの結果、クラスタリング戦略およびデータバランスが下流性能に顕著な影響を与えることが判明し、データのキュレーションの重要性が強調された。
• DECAR の軽量設計により、効率的な事前学習およびファインチューニングが可能となり、幅広い応用分野での実用性が確保された。
• コードおよび事前学習済みモデルの公開により、再現性が確保され、自己教師あり音声表現学習分野における今後の研究を促進する基盤が整った。