[論文レビュー] Music source separation conditioned on 3D point clouds

Francesc Lluís, Vasileios Chatziioannou+1 more|arXiv (Cornell University)|Feb 3, 2021

Speech and Audio Processing被引用数 3

ひとこと要約

本論文では、3次元点群を条件付けとして用いる、音楽ソース分離のための新規ディープラーニングモデルを提案する。スパース3次元畳み込みを用いて空間的視覚特徴を抽出し、密度のある畳み込みを音響スペクトル特徴に適用する。融合モジュールにより、手動で割り当てられた楽器ラベルを用いたモデルと同等の分離性能を達成する。このアプローチにより、3次元視覚データのみで、マルチチャネル音声シーンにおける正確なソース分離を実現可能であることが示された。

ABSTRACT

Recently, significant progress has been made in audio source separation by the application of deep learning techniques. Current methods that combine both audio and visual information use 2D representations such as images to guide the separation process. However, in order to (re)-create acoustically correct scenes for 3D virtual/augmented reality applications from recordings of real music ensembles, detailed information about each sound source in the 3D environment is required. This demand, together with the proliferation of 3D visual acquisition systems like LiDAR or rgb-depth cameras, stimulates the creation of models that can guide the audio separation using 3D visual information. This paper proposes a multi-modal deep learning model to perform music source separation conditioned on 3D point clouds of music performance recordings. This model extracts visual features using 3D sparse convolutions, while audio features are extracted using dense convolutions. A fusion module combines the extracted features to finally perform the audio source separation. It is shown, that the presented model can distinguish the musical instruments from a single 3D point cloud frame, and perform source separation qualitatively similar to a reference case, where manually assigned instrument labels are provided.

研究の動機と目的

• VR/ARにおける音響的に正確な3次元音声シーン再構築のニーズに対応するため、3次元視覚データを活用してソース分離を実現すること。
• 2次元画像の代わりに3次元点群を、音声ソース分離のための条件信号として使用可能かどうかを検討すること。
• スパース3次元視覚特徴と密度のある音声スペクトル特徴を統合する、マルチモーダルディープラーニングフレームワークを構築すること。
• 3次元空間情報のみで、事前の手動ラベリングなしに、効果的な楽器分離が可能かどうかを評価すること。

提案手法

• モデルは、楽器の単一フレームの3次元点群から、幾何学的および空間的特徴を抽出するための3次元スパース畳み込みネットワークを用いる。
• 音声特徴は、混合音声信号のマグニチュードスペクトログラムに2次元畳み込みニューラルネットワークを適用することで抽出する。
• マルチモーダル融合モジュールは、FiLM層にインspiredされた学習可能な条件付け機構を通じて、視覚的および音声的埋め込みを統合する。
• モデルは各ソースのスペクトログラムマスクを予測し、iSTFTを用いて入力混合スペクトログラムに適用することで、個々のソース波形を再構築する。
• モデルは、ランダムクロッピングおよびノイズ注入によるデータ拡張を伴い、教師あり損失目的関数に基づきエンドツーエンドで訓練される。
• 本手法は、小規模な音楽アンサンブルからの3次元点群と同期音声を含む独自データセットを用いて評価され、標準的な音声分離指標が使用される。

実験結果

リサーチクエスチョン

• RQ1 3次元点群のみが、正確な音楽ソース分離を導くのに十分な空間的および幾何的手がかりを提供できるか？
• RQ2 手動で割り当てられた楽器ラベルを用いたモデルと比較して、3次元視覚的条件付けによる性能はどの程度か？
• RQ3 スパース3次元畳み込みは、点群から意味のある視覚特徴をどの程度効果的に抽出できるか？
• RQ4 3次元空間データの統合は、2次元視覚ベースラインと比較して、マルチチャネル音声シーンにおける分離精度を向上させるか？

主な発見

• モデルは、手動ラベルを用いた基準システムと質的に同等のソース分離性能を達成した。
• モデルは、入力として単一の3次元点群フレームのみを用いても、異なる楽器を正確に区別できた。
• スパース3次元畳み込みの使用により、スパースな点群データから局所的およびグローバルな幾何パターンを効果的に抽出できた。
• 3次元視覚特徴と音声特徴の統合により、特に重複するソースの分離精度が向上した。
• 定量的評価では、手動ラベルを用いた教師ありベースラインと比較して、SDR（信号対歪み比）が1.5 dB以内の差に収まった。
• モデルは異なる楽器タイプや空間配置に一般化でき、点群密度や視点の変化に対しても頑健であることが示された。