[論文レビュー] Seeing Through Noise: Speaker Separation and Enhancement using Visually-derived Speech.

Aviv Gabbay, Ariel Ephrat+2 more|arXiv (Cornell University)|Aug 22, 2017

Speech and Audio Processing参考文献 21被引用数 13

ひとこと要約

本稿では、ビデオから得られる顔の動きの手がかりを活用して、綺麗な音声予測を生成し、それをノイズ混在音声にフィルタとして適用することで、話者分離および音声強調を行う新しい音声・視覚的手法を提案する。この手法は、混合音声の学習を回避し、ビデオから音声を推定するモデルを用いてターゲット話者の音声を推定することで、GRIDおよびTCD-TIMITデータセットにおいて、原始的な予測値や音声のみのベースラインと比較して、SDRおよびPESQの大幅な向上を達成する。

ABSTRACT

Isolating the voice of a specific person while filtering out other voices or background noises is challenging when video is shot in noisy environments. We propose audio-visual methods to isolate the voice of a single speaker and eliminate unrelated sounds. First, face motions captured in the video are used to estimate the speaker's voice, by passing the silent video frames through a video-to-speech neural network-based model. Then the speech predictions are applied as a filter on the noisy input audio. This approach avoids using mixtures of sounds in the learning process, as the number of such possible mixtures is huge, and would inevitably bias the trained model. We evaluate our method on two audio-visual datasets, GRID and TCD-TIMIT, and show that our method attains significant SDR and PESQ improvements over the raw video-to-speech predictions, and a well-known audio-only method.

研究の動機と目的

• ノイズが多く、複数人の話者がいる環境において、音声のみの手法が困難な単一話者の声を分離する課題に対処すること。
• 多様で膨大な量の音声とノイズの混合物の学習によるモデルのバイアスや一般化性能の低下という制限を克服すること。
• ビデオからの視覚的手がかり（特に顔の動き）を活用して、ターゲット話者の音声分離のための正確な音声予測を生成すること。
• 音声入力に依存せず、音声の予測をビデオから得たものとしてフィルタとして適用することで、音声強調および分離性能を向上させること。

提案手法

• 静止画のビデオフレームに、ビデオから音声を生成するニューラルネットワークを適用し、顔の動きに基づいてターゲット話者の音声信号を予測する。
• 予測された音声信号を、ノイズ混在音声混合信号から対応する話者の声を分離するためのフィルタとして使用する。
• 混合音声のエンドツーエンド学習を回避するため、音声混合データの複雑さとバイアスを減らすために、ビデオのみからの音声生成に依存する。
• 本手法は、ビデオフレームを入力として用いて音声予測を生成する2つの音声・視覚データセット（GRIDおよびTCD-TIMIT）で学習および評価される。
• フィルタリングされた音声出力を、原始的なビデオから音声を予測する出力と、強力な音声のみのベースラインと比較して性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 顔の動きからの視覚的手がかりは、ノイズ混在環境下での話者分離のための綺麗な音声予測を効果的に生成するために有効に利用できるか？
• RQ2 ビデオから得た音声予測を用いてノイズ混在音声をフィルタリングすることで、原始的なビデオから音声を予測する出力と比較して、音声分離および強調性能が向上するか？
• RQ3 SDRおよびPESQ指標において、本手法は有名な音声のみの話者分離手法と比較してどのように性能を発揮するか？
• RQ4 混合音声の学習を回避することで、話者分離タスクにおける一般化性能および性能が向上するか？

主な発見

• 本手法は、原始的なビデオから音声を予測する手法と比較して、信号対歪み比（SDR）および音声品質の主観的評価（PESQ）において顕著な向上を達成する。
• 本手法は、GRIDおよびTCD-TIMITの両方のデータセットにおいて、有名な音声のみの話者分離手法を上回る性能を発揮する。
• 混合音声の学習を回避することで、さまざまな音声混合の組み合わせによるバイアスがモデルに与える影響を回避できる。
• 視覚的予測から得た音声をフィルタとして用いることで、極めてノイズの強い環境下でもターゲット話者の声を効果的に分離できる。