[論文レビュー] Listen to What You Want: Neural Network-based Universal Sound Selector

Tsubasa Ochiai, Marc Delcroix+4 more|arXiv (Cornell University)|Jun 10, 2020

Speech and Audio Processing参考文献 19被引用数 4

ひとこと要約

本稿では、音源分離や分類の必要を回避するため、学習されたnホットクラス表現を用いて音響イベント（AE）の混合音声から複数の望ましい音響イベントを直接抽出する深層ニューラルネットワーク「Sound Selector」を提案する。未知の数の音源やターゲットクラスに対しても一貫した性能を発揮し、優れた汎化性能と計算効率を示す。

ABSTRACT

Being able to control the acoustic events (AEs) to which we want to listen would allow the development of more controllable hearable devices. This paper addresses the AE sound selection (or removal) problems, that we define as the extraction (or suppression) of all the sounds that belong to one or multiple desired AE classes. Although this problem could be addressed with a combination of source separation followed by AE classification, this is a sub-optimal way of solving the problem. Moreover, source separation usually requires knowing the maximum number of sources, which may not be practical when dealing with AEs. In this paper, we propose instead a universal sound selection neural network that enables to directly select AE sounds from a mixture given user-specified target AE classes. The proposed framework can be explicitly optimized to simultaneously select sounds from multiple desired AE classes, independently of the number of sources in the mixture. We experimentally show that the proposed method achieves promising AE sound selection performance and could be generalized to mixtures with a number of sources that are unseen during training.

研究の動機と目的

• 複雑な音声混合音声から望ましい音響イベント（AE）を選択するための、段階的音源分離と分類の限界を克服すること。
• 混合音声に含まれる音源数について事前に知識がなくても、直接的にターゲットAEを抽出できる統合フレームワークの開発。
• 1回の順伝播で複数のAEクラスを同時に選択可能とし、反復的手法と比較して計算コストを低減すること。
• トレーニング時に観測しなかった混合状態、例えばより多くのAEクラス数やターゲットクラス数の状況に対しても、汎化性能を向上させること。
• リアルタイムの聴取デバイスに適した、計算的に効率的でエンドツーエンドのAE音声選択ソリューションを提供すること。

提案手法

• Sound Selectorは、生の時間領域音声混合音と、ターゲットAEクラスを示すワンホットまたはnホットベクトルを入力とする深層ニューラルネットワーク（DNN）を採用する。
• 音声選択性能を最適化する微分可能損失関数を用いて、選択されたAE音声の時間領域波形を直接推定する。
• 複数クラス選択のため、共有アーキテクチャを用いながらも、同時最適化により1回の順伝播で複数のAEクラスを同時に抽出する。
• パーミュテーション不変訓練（PIT）に基づく分離手法に内在するパーミュテーションの曖昧さや固定音源の制限を回避するため、直接的選択をモデル化する。
• 異なる数のAEクラスとターゲット組み合わせを含む合成混合音声データセット上で、エンドツーエンドに訓練する。
• トレーニング時に観測しなかった、7クラス混合音声や4クラス同時選択に対しても、再トレーニングなしで汎化可能である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、事前の音源分離を経ずに、クラスラベルのみをガイドとして用いて、混合音声から複数の望ましい音響イベントを直接抽出可能か？
• RQ2 直接音声選択の性能は、音源分離と分類を組み合わせた段階的アプローチと比較してどのように異なるか？
• RQ3 提案手法は、トレーニング時に観測しなかったAEクラス数の混合音声に対しても汎化可能か？
• RQ4 同時に複数クラス選択する方式は、反復的単一クラス抽出と比較して、品質および効率面で優位性を示すか？
• RQ5 実世界に近い音声シーンにおいて、未知の数の音源やターゲットクラスに対しても、モデルの汎化能力はどの程度か？

主な発見

• 提案されたSound Selectorは、3〜5クラスのAE混合音声において、2クラス選択で平均SDRが6.9 dB向上し、一部の状況では反復的手法を上回る性能を示した。
• 4クラス同時選択においては、未学習の7クラス混合音声で平均SDRが5.3 dB向上し、より高い複雑さに対しても強い汎化性能を示した。
• 同時抽出方式は、計算コストを著しく低減しつつ、反復的抽出と同等またはより優れた性能を達成した。
• 3クラスのターゲットを持つ高複雑度の状況でも、絶対SDRが16.9 dBを維持し、信号歪みが最小限であることが示された。
• トレーニングデータに含まれなかった7クラスのAE混合音声と4クラスのターゲット選択に対しても、モデルは効果的に汎化でき、未学習条件への耐性を確認した。
• 音声除去実験では、一貫した約6 dBのSDR向上が確認され、本手法が選択および抑制の両タスクにおいて有効であることを裏付けた。