[論文レビュー] Deep Transform: Cocktail Party Source Separation via Probabilistic Re-Synthesis

Andrew Simpson|arXiv (Cornell University)|Mar 20, 2015

Speech and Audio Processing参考文献 3被引用数 3

ひとこと要約

本稿では、モノラルおよびバイナリオ音声混合物上で学習された2つの独立した深層ニューラルネットワーク（DNN）を用いた、カクテルパーティー状況における新しい音源分離手法であるDeep Transformを提案する。この手法は、確率的再合成に用いる時間領域の畳み込み型深層変換（CDT）を採用し、構造的複雑性を最小限に抑えつつ、実世界の音声分離タスクにおいて優れた性能を示している。

ABSTRACT

In cocktail party listening scenarios, the human brain is able to separate competing speech signals. However, the signal processing implemented by the brain to perform cocktail party listening is not well understood. Here, we trained two separate convolutive autoencoder deep neural networks (DNN) to separate monaural and binaural mixtures of two concurrent speech streams. We then used these DNNs as convolutive deep transform (CDT) devices to perform probabilistic re-synthesis. The CDTs operated directly in the time-domain. Our simulations demonstrate that very simple neural networks are capable of exploiting monaural and binaural information available in a cocktail party listening scenario.

研究の動機と目的

• 計算的手法を用いて、人間のカクテルパーティー聴取に類似した複数の音声ストリームの分離を実現すること。
• 深層学習を用いてモノラルおよびバイナリオ音声混合物における重なり合う音声の分離という課題に取り組むこと。
• スペクトルおよび左右音響差（インタールナル・キューサ）を活用する時間領域のニューラル処理フレームワークを構築すること。
• 単純なDNNが、モノラルおよびバイナリオ情報の両方を効果的に活用して、頑健な音声分離を実現できることを示すこと。
• 学習された深層変換に基づく確率的再合成メカニズムを導入し、分離の高精度化を図ること。

提案手法

• 2つの音声ストリームのモノラルおよびバイナリオ混合音にそれぞれ学習された2つの独立した畳み込みオートエンコーダー型深層ニューラルネットワーク（DNN）を訓練する。
• 訓練済みのDNNを畳み込み型深層変換（CDT）デバイスとして用い、混合信号を潜在表現空間にマッピングする。
• 潜在空間から個々の音声源を再構成するために、CDTを逆方向に作用させることで確率的再合成を実行する。
• 時間領域で全プロセスを実行することで、時間的構造を保持し、周波数領域手法に見られるアーティファクトを低減する。
• バイナリオの特徴（左右レベル差、時間遅延）をバイナリオDNNを通じて活用し、分離精度を向上させる。
• 再構成プロセスにおける不確実性をモデル化するための確率的フレームワークを適用し、ノイズや重なりに対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 単純な深層ニューラルネットワークは、モノラルおよびバイナリオ条件下で重なり合う音声を効果的に分離できるか？
• RQ2 時間領域のDNN変換は、モノラルおよびバイナリオの特徴をどれほど効果的に活用できるか？
• RQ3 確率的再合成は、分離された音声源の品質および聞き取りやすさをどのように向上させるか？
• RQ4 最小限のDNNアーキテクチャは、カクテルパーティー状況において、より複雑なモデルと比較して競争力のある性能を達成できるか？
• RQ5 インタールナル情報は、深層学習を用いた分離性能向上において果たす役割は何か？

主な発見

• 提案手法は、モノラルおよびバイナリオ混合音にそれぞれ学習された2つの単純なDNNのみを用いて、2つの重なり合う音声ストリームの効果的な分離を達成した。
• 時間領域での処理により、周波数領域手法に見られるアーティファクトを低減し、微細な時間的構造を保持した。
• バイナリオ特徴の統合により、モノラルのみのモデルに比べて分離性能が顕著に向上した。
• 不確実性を再構成プロセスにモデル化することで、確率的再合成が耐障害性と音声品質の両方を向上させた。
• 構造的複雑性を最小限に抑えつつ優れた性能を示したため、本手法は効率的かつスケーラブルであると考えられる。
• 結果から、人間の聴覚系のカクテルパーティー効果が、エンドツーエンドの深層学習フレームワークによって部分的に再現可能である可能性が示唆された。