[論文レビュー] New Insights on Target Speaker Extraction

Mohamed Elminshawi, Wolfgang Mack+3 more|arXiv (Cornell University)|Feb 1, 2022

Speech and Audio Processing被引用数 15

ひとこと要約

本論文は、音声および映像ベースの手法を用いたターゲットスピーカー抽出（SE）における補助情報の役割を調査し、共通のデュアルパスRNNフレームワークを用いた無情報スピーカー分離（SS）と比較する。結果は、補助情報がSSに対して一貫して性能向上をもたらさないことを示しており、特に3人のスピーカーが混合された状況で顕著である。また、システムの挙動はトレーニングデータの構成と補助信号の品質に強く依存する。

ABSTRACT

Speaker extraction (SE) aims to segregate the speech of a target speaker from a mixture of interfering speakers with the help of auxiliary information. Several forms of auxiliary information have been employed in single-channel SE, such as a speech snippet enrolled from the target speaker or visual information corresponding to the spoken utterance. The effectiveness of the auxiliary information in SE is typically evaluated by comparing the extraction performance of SE with uninformed speaker separation (SS) methods. Following this evaluation protocol, many SE studies have reported performance improvement compared to SS, attributing this to the auxiliary information. However, such studies have been conducted on a few datasets and have not considered recent deep neural network architectures for SS that have shown impressive separation performance. In this paper, we examine the role of the auxiliary information in SE for different input scenarios and over multiple datasets. Specifically, we compare the performance of two SE systems (audio-based and video-based) with SS using a common framework that utilizes the recently proposed dual-path recurrent neural network as the main learning machine. Experimental evaluation on various datasets demonstrates that the use of auxiliary information in the considered SE systems does not always lead to better extraction performance compared to the uninformed SS system. Furthermore, we offer insights into the behavior of the SE systems when provided with different and distorted auxiliary information given the same mixture input.

研究の動機と目的

• 同じディープラーニングフレームワークを用いて、補助情報の有効性を再評価すること。
• 音声ベース（SE-A）および映像ベース（SE-V）のSEシステムが、多様なデータセットおよび混合条件において、一貫してSSを上回る性能を示すかどうかを調査すること。
• 埋め込みがターゲットスピーカーでない者からのものであるなど、歪んだまたは不一致の補助信号が与えられた場合のSEシステムの挙動を分析すること。
• 特に混合物に含まれる話者の数に注目したトレーニング戦略が、SEにおける補助情報の活用に与える影響を検討すること。
• 特に複雑なマルチスピーカー環境において、補助情報が常にSE性能を向上させるという仮定に疑問を呈すること。

提案手法

• すべてのSEおよびSSシステムに同一のデュアルパス再帰ニューラルネットワーク（DPRNN）をコアアーキテクチャとして採用し、公平な比較を実現した。
• SEシステムは、ターゲットスピーカー抽出をガイドするため、音声登録スニペット（SE-A）または視覚的特徴（SE-V）を補助信号として使用した。
• SDR、SIR、SARといった標準指標を用いて性能を評価し、SS出力とのオラクル比較により相対的利得を評価した。
• 歪んだ補助信号を用いたアブレーションスタディを実施：ターゲットの埋め込みと干渉者または混合外の埋め込みを混合して、現実世界のノイズや不整合を模擬した。
• 複数のデータセットで2人および3人のスピーカー混合状況において、SE性能を体系的に比較し、一般化性とロバストネスを評価した。
• 埋め込み空間におけるシステム挙動を分析するため、補助信号のターゲット話者および干渉者話者との類似度を変化させ、類似度が低い状況での失敗モードを特定した。

実験結果

リサーチクエスチョン

• RQ1 同じディープラーニングアーキテクチャを用いる場合、SEにおける補助情報の使用が、無情報SSよりも一貫して性能向上をもたらすか？
• RQ2 補助信号の品質および一致度（例：ターゲット、干渉者、または混合外の話者からのもの）が、SEシステムの挙動および出力品質に与える影響は？
• RQ3 トレーニングデータ構成、特に混合物に含まれる話者の数が、SEシステムにおける補助情報の活用能力に与える影響はどの程度か？
• RQ4 不一致した補助情報が与えられた場合、SEシステムが何の話者も抽出できなくなることはあり得るか？ もしあるなら、どのような条件下でそうなるか？
• RQ5 特に信号対干渉比（SIR）が低い環境下で、補助情報がSEに顕著な利益をもたらす条件は何か？

主な発見

• SEにおける補助情報の使用が、無情報SSを上回る一貫した性能向上をもたらすとは限らず、特に3人のスピーカーが混合された状況で顕著である。これは、補助信号が常に抽出を向上させるという仮定に疑問を呈する。
• 2人のスピーカー混合物でトレーニングされたSEシステムは、混合外（OOM）の話者からの埋め込みが与えられても、ターゲットまたは干渉者話者を抽出する傾向にあり、不一致入力に対しても頑健であることが示された。
• それに対して、3人のスピーカー混合物でトレーニングされたSEシステムは、OOM埋め込みが与えられた場合、しばしば何の話者も抽出できず、トレーニングデータ構成に強く依存することが明らかになった。
• 干渉者話者の埋め込みと混合することで補助信号を歪めると、正しい干渉者埋め込みを使用した場合と同等の性能で干渉者話者を抽出するようになる場合がある。
• 補助信号が著しく不一致している場合、特にSIRが低い状況では、システムが完全に何の話者も抽出できなくなることがある。
• SE-Aの性能は、同じターゲット話者からの異なる登録発話に対してほとんど安定しており、登録信号内の話者内変動に対して頑健であることが示された。