[論文レビュー] A Framework for Contrastive and Generative Learning of Audio Representations.

Prateek Verma, Julius O. Smith|arXiv (Cornell University)|Oct 22, 2020

Music and Audio Processing参考文献 17被引用数 6

ひとこと要約

本論文は、ラベルなしで音声表現学習を行う自己教師ありフレームワークを提案する。対照的学習と生成的学習を組み合わせ、音声の拡張を用いて類似するビューを対照的に埋め込み、離散音声トークン上でトランスフォーマーを訓練して生成的モデリングを実現する。下流タスクにおいて完全教師あり手法に近い性能を達成する。

ABSTRACT

In this paper, we present a framework for contrastive learning for audio representations, in a self supervised frame work without access to any ground truth labels. The core idea in self supervised contrastive learning is to map an audio signal and its various augmented versions (representative of salient aspects of audio like pitch, timbre etc.) to a space where they are close together, and are separated from other different signals. In addition we also explore generative models based on state of the art transformer based architectures for learning latent spaces for audio signals, without access to any labels. Here, we map audio signals on a smaller scale to discrete dictionary elements and train transformers to predict the next dictionary element. We only use data as a method of supervision, bypassing the need of labels needed to act as a supervision for training the deep neural networks. We then use a linear classifier head in order to evaluate the performance of our models, for both self supervised contrastive and generative transformer based representations that are learned. Our system achieves considerable performance, compared to a fully supervised method, with access to ground truth labels to train the neural network model. These representations, with avail-ability of large scale audio data show promise in various tasks for audio understanding tasks

研究の動機と目的

• 真のラベルにアクセスできない状況で音声表現を学習する自己教師ありフレームワークの開発。
• 同じ音声の拡張ビューを共有の埋め込み空間にマッピングすることで、対照的学習を検討する。
• 離散音声トークン上でトランスフォーマーに基づくアーキテクチャを用いて潜在空間の学習を目的とする生成的モデリングを調査する。
• 下流タスクにおける線形分類器ヘッドを用いて学習された表現を評価する。
• 自己教師あり音声表現が完全教師ありモデルの性能に達することを示す。

提案手法

• 同じ音声サンプルの複数の拡張ビューを作成し、それらの間で埋め込み空間内での対照的損失を最小化することで、対照的学習を適用する。
• 離散オートエンコーディングアプローチにより、生の音声を少数の離散トークンにマッピングし、生成的モデリングのためのコードブックを形成する。
• トランスフォーマーモデルを、離散音声トークンの系列における次のトークンを予測するように訓練し、階層的表現を学習する。
• 下流分類タスクにおける線形分類器ヘッドを用いて、学習された表現を評価する。
• フレームワークは、人間がアノテートしたラベルの必要性を排除するため、大規模な音声データを唯一の監視情報源として利用する。
• 学習された音声表現の質を向上させるために、対照的および生成的目的の両方を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしで対照的自己教師あり学習が、意味のある音声表現を効果的に学習できるか？
• RQ2 離散音声トークン上でトランスフォーマーに基づく生成的モデリングが、競争力のある表現を生成できるか？
• RQ3 対照的および生成的目的の組み合わせが、表現品質をどのように向上させるか？
• RQ4 自己教師あり音声表現が、完全教師ありモデルの性能にどの程度まで達するか？
• RQ5 大規模な音声データが自己教師あり表現学習に与える影響は何か？

主な発見

• 提案された対照的学習フレームワークは、同じ音声の拡張ビューを埋め込み空間内の共有領域にマッピングすることに成功し、表現品質の向上を実現した。
• 離散音声トークン上で訓練された生成的トランスフォーマーは、音声信号内の意味的な順序的依存関係を学習した。
• 対照的および生成的目的の組み合わせにより、より強固で汎用性の高い音声表現が得られた。
• 自己教師あり表現に線形分類器ヘッドを適用した結果、完全教師ありモデルと同等の性能を達成した。
• 本フレームワークは、大規模なラベルなし音声データのみを用いて、音声理解タスクに強い可能性を示した。
• 結果から、大規模なデータを用いた自己教師あり学習により、高コストなアノテーションへの依存を顕著に低減できることが示唆された。