[論文レビュー] Unsupervised Feature Learning for Audio Analysis

Matthias Meyer, Jan Beutel+1 more|arXiv (Cornell University)|Dec 11, 2017

Music and Audio Processing参考文献 9被引用数 9

ひとこと要約

この論文では、類似した音声イベント間の類似性を強調し、異なるイベント間の非類似性を拡大することで特徴の特徴的差を高める、新しいペairワイズ損失関数を備えたConvLSTMベースの音声フレーム予測器（AFP）を用いた教師なし音声特徴学習手法を提案する。ラベルなし音声データで訓練されたこの手法は、標準的なオートエンコーダー訓練と比較して、下流の分類タスクで13%、クラスタリングタスクで36%の向上を達成した。

ABSTRACT

Identifying acoustic events from a continuously streaming audio source is of interest for many applications including environmental monitoring for basic research. In this scenario neither different event classes are known nor what distinguishes one class from another. Therefore, an unsupervised feature learning method for exploration of audio data is presented in this paper. It incorporates the two following novel contributions: First, an audio frame predictor based on a Convolutional LSTM autoencoder is demonstrated, which is used for unsupervised feature extraction. Second, a training method for autoencoders is presented, which leads to distinct features by amplifying event similarities. In comparison to standard approaches, the features extracted from the audio frame predictor trained with the novel approach show 13 % better results when used with a classifier and 36 % better results when used for clustering.

研究の動機と目的

• イベントのカテゴリが未知でラベルなしデータしか利用できない環境における音声イベント検出の課題に対処すること。
• ラベルなしの音声ストリームから意味的で判別力のある表現を抽出できる教師なし特徴学習手法を開発すること。
• 弱いラベルや強いラベルを必要とせず、サンプル間の類似性と非類似性に注目して特徴の特徴的差を高めること。
• 実世界の音声データセットを用いて、下流の分類およびクラスタリングタスクを通じて提案手法の有効性を示すこと。

提案手法

• 3つの連続する入力フレームから次のメルスペクトログ램フレームを再構成することを目的とした、ConvLSTMベースの音声フレーム予測器（AFP）を訓練する。
• エンコーダーのコードをチャネルごとの平均プーリングにより128次元の特徴ベクトルに圧縮し、各サンプルの特徴分布を計算する。
• Kullback-Leibler（KL）ダイバージェンスに基づく新しいペアワイズ損失関数を特徴分布に適用し、バッチ内での相対的な類似性に基づいて非類似性をペナルティ化する。
• 損失関数は、類似したイベントの特徴分布を制限するためのしきい値付きKLダイバージェンスと、非類似したイベントを分離させるためのマージンベースの損失を組み合わせ、特徴のクラスタリングを促進する。
• AFPは2段階で訓練される：まずフレーム再構成のための平均二乗誤差（MSE）で訓練し、次にMSEとペアワイズ損失を併用して特徴表現を最適化する。
• 最終的な特徴表現は、単純な全結合分類器とHungarianアルゴリズムを用いたk-meansクラスタリングを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 ConvLSTMアーキテクチャを備えた教師なしオートエンコーダーは、ラベルなしデータを用いても判別力のある音声特徴を学習できるか？
• RQ2 特徴分布間のKLダイバージェンスに基づくペアワイズ損失を導入することで、ラベルなし環境下でも特徴の特徴的差が向上するか？
• RQ3 提案された訓練手法は、標準的なオートエンコーダー訓練と比較して、下流の分類およびクラスタリング性能をどの程度向上させるか？
• RQ4 提案手法と標準的な訓練との間で、学習された特徴分布は視覚的および定量的にどのように異なるか？

主な発見

• 提案手法は、標準的なオートエンコーダー訓練と比較して、テスト分類精度を13%向上させ、ペアワイズ損失ありで78.94%、なしで69.59%を達成した。
• テストセットにおけるクラスタリング精度は、ペアワイズ損失ありで52.23%、なしで38.32%を記録し、36%の向上を達成した。
• t-SNE可視化では、ギターとヘリコプターのような異なるイベントクラスに対して、ペアワイズ損失手法が標準的な訓練と比較して、より明確に分離された特徴分布を生成していることが示された。
• ペアワイズ損失を用いて学習された特徴分布は、重複が少なく、より集中しており、判別力のあるイベント情報はわずか数個のコードチャネルに集中していることが示された。
• 2段階訓練手順（まずMSEのみ、次にMSEとペアワイズ損失を併用）により、より良い一般化性能と特徴のコンパクトさが達成された。
• 本手法は、ラベルを一切使用していないにもかかわらず、標準的な教師なし訓練を上回った。これは、ペアワイズ損失が意味のある表現を形成する上で有効であることを示している。