[論文レビュー] Deep clustering: Discriminative embeddings for segmentation and separation

John R. Hershey, Zhuo Chen+2 more|arXiv (Cornell University)|Aug 18, 2015

Speech and Audio Processing参考文献 19被引用数 7

ひとこと要約

本論文では、音声源分離のための判別的スペクトログ램埋め込みを学習する、クラスに依存しない深層学習フレームワーク「ディープクラスタリング」を提案する。理想的な類似度行列の低ランク近似を可能にするように深層ネットワークを訓練することで、単純なクラスタリングによるソース分割の復元が可能となり、2人話者データでのみ学習したにもかかわらず、未知の話者混合音声において6 dBのSDR向上を達成した。

ABSTRACT

We address the problem of acoustic source separation in a deep learning framework we call "deep clustering." Rather than directly estimating signals or masking functions, we train a deep network to produce spectrogram embeddings that are discriminative for partition labels given in training data. Previous deep network approaches provide great advantages in terms of learning power and speed, but previously it has been unclear how to use them to separate signals in a class-independent way. In contrast, spectral clustering approaches are flexible with respect to the classes and number of items to be segmented, but it has been unclear how to leverage the learning power and speed of deep networks. To obtain the best of both worlds, we use an objective function that to train embeddings that yield a low-rank approximation to an ideal pairwise affinity matrix, in a class-independent way. This avoids the high cost of spectral factorization and instead produces compact clusters that are amenable to simple clustering methods. The segmentations are therefore implicitly encoded in the embeddings, and can be "decoded" by clustering. Preliminary experiments show that the proposed method can separate speech: when trained on spectrogram features containing mixtures of two speakers, and tested on mixtures of a held-out set of speakers, it can infer masking functions that improve signal quality by around 6dB. We show that the model can generalize to three-speaker mixtures despite training only on two-speaker mixtures. The framework can be used without class labels, and therefore has the potential to be trained on a diverse set of sound types, and to generalize to novel sources. We hope that future work will lead to segmentation of arbitrary sounds, with extensions to microphone array methods as well as image segmentation and other domains.

研究の動機と目的

• 未知または新しい音源を分離する際のクラスベースの深層学習モデルの限界を克服し、クラスに依存しないソース分離を可能にすること。
• パーティションベースのセグメンテーションに適した、深層ネットワークの学習力とスペクトルクラスタリングの柔軟性を統合すること。
• 明示的なクラスラベルや再学習を必要とせず、未学習の話者および任意の数のソースに一般化可能なフレームワークを開発すること。
• クラスタリングによる復元が可能となるように、暗黙的にセグメンテーションを符号化するエンドツーエンドの埋め込み学習を可能にすること。

提案手法

• 理想的なペアワイズ類似度行列の再構成誤差を最小化するように、スペクトログラム埋め込みを出力する深層双方向LSTMネットワークを訓練する。
• 同じソースからの埋め込みが密にクラスタリングされるよう促す対照的目的関数を用いる。
• 計算コストの高いスペクトル因子分解を避けるために、理想的な類似度行列に対して低ランク近似を適用する。
• 学習済み埋め込みに対してk-meansクラスタリングを適用し、複数ソースの場合は順列アラインメントを用いてソース分離を復元する。
• 微分可能なクラスタリング目的関数を深層アンフォールディングを用いて導入し、埋め込みとクラスタリングの共同最適化を可能にする。
• 計算コストを削減するため、局所的カーネル（例：ガウスカーネル）ではなく、カーネルベースの類似度測定（外積）を採用する。

実験結果

リサーチクエスチョン

• RQ1 教師なしクラスラベルを用いて、深層ニューラルネットワークが効果的なソース分離を可能にする判別的埋め込みを学習できるか？
• RQ2 2人話者混合音声で学習したモデルが、再訓練なしに3人話者混合音声に対しても一般化可能か？
• RQ3 本手法は、オラクルNMFのような従来のベースライン手法よりも、信号対歪み比（SDR）において優れているか？
• RQ4 訓練データに含まれない未学習の話者に対しても、モデルの一般化性能はどの程度高いか？
• RQ5 本フレームワークは、画像セグメンテーションやマルチマイクシステムなど、他の分野へも拡張可能か？

主な発見

• 提案手法のディープクラスタリングは、未学習話者混合音声において6 dBのSDR向上を達成し、オラクルNMFベースラインを上回った。
• 2人話者データでのみ学習したにもかかわらず、3人話者混合音声に対しても一般化可能であり、未知の数のソースに対してもスケーラビリティを示した。
• 開集合性能（未学習話者）が閉集合性能（訓練データから除外した話者）と同等であったため、強力な一般化性能が確認された。
• 全発話単位のクラスタリングでも良好な性能を示したため、埋め込みがピッチやトーンといったグローバル特徴を効果的に捉えていると示唆された。
• 活性化関数の選択（ロジスティック関数対比tanh）に顕著な影響があり、テストされた設定ではロジスティック関数ネットワークがわずかにtanhよりも優れた性能を示した。
• 女性同士および男性同士の混合音声では、性別が同一の混合音声よりも顕著に性能が向上しており、これはスペクトルコントラストが大きいことが要因とされる。