[論文レビュー] 2.5D Visual Sound

Ruohan Gao, Kristen Grauman|arXiv (Cornell University)|Dec 11, 2018

Speech and Audio Processing参考文献 53被引用数 4

ひとこと要約

本稿では、映像からの視覚的手がかりを活用してモノラル音声をバイナリック音声に変換する2.5次元のビジュアルサウンドフレームワークを提案する。深層畳み込みニューラルネットワークを用いて、視覚的シーン構成から空間音声を推定する。この手法により、自己教師付き音声・視覚表現学習が可能となり、バイナリック音声合成および音声・視覚源分離の両方の性能が向上する。

ABSTRACT

Binaural audio provides a listener with 3D sound sensation, allowing a rich perceptual experience of the scene. However, binaural recordings are scarcely available and require nontrivial expertise and equipment to obtain. We propose to convert common monaural audio into binaural audio by leveraging video. The key idea is that visual frames reveal significant spatial cues that, while explicitly lacking in the accompanying single-channel audio, are strongly linked to it. Our multi-modal approach recovers this link from unlabeled video. We devise a deep convolutional neural network that learns to decode the monaural (single-channel) soundtrack into its binaural counterpart by injecting visual information about object and scene configurations. We call the resulting output 2.5D visual sound---the visual stream helps lift the flat single channel audio into spatialized sound. In addition to sound generation, we show the self-supervised representation learned by our network benefits audio-visual source separation. Our video results: this http URL

研究の動機と目的

• バイナリック音声録音の不足を解消するため、モノラル音声を自動的に空間化されたバイナリック音声に変換すること。
• 単一チャンネル音声に欠落している空間的情報を回復するために、視覚フレームを暗黙の空間的手がかりとして活用すること。
• ラベルなしの動画データから自己教師付き音声・視覚表現を学習し、下流の音声タスクの性能を向上させること。
• 視覚情報が平坦なモノラル音声を、知覚的に豊かな3次元音声に「持ち上げる」ことの有効性を示すこと。

提案手法

• モノラル音声と対応する映像フレームを入力とし、バイナリック音声出力を生成する深層畳み込みニューラルネットワークを学習する。
• 物体の位置やシーンの幾何構造などの映像フレームからの視覚特徴を、音声合成プロセスの条件付けに用いる。
• 音声と映像の時間的整合性を活用して、自己教師付きの方法で共同音声・視覚表現を学習する。
• クロスモodal注意メカニズムや特徴統合機構を介して、視覚的空間的手がかりを音声ネットワークに組み込み、バイナリックレンダリングをガイドする。
• 予測されたバイナリック音声と真値バイナリック音声との再構成誤差を最適化し、音声・視覚対照的学習による自己教師付き学習を併用してネットワークを最適化する。
• 学習された音声・視覚特徴を、音声・視覚源分離などの下流タスクに活用する。

実験結果

リサーチクエスチョン

• RQ1 映像からの視覚的情報は、モノラル音声の空間的特徴を効果的に推定するために活用可能か？
• RQ2 自己教師付きモデルは、ラベルなしの動画データから、意味のある音声・視覚表現をどの程度学習できるか？
• RQ3 提案された2.5次元ビジュアルサウンド手法は、未観測の音声・視覚シーンにどの程度一般化できるか？
• RQ4 学習された表現は、音声・視覚源分離タスクの性能向上に寄与するか？

主な発見

• 提案手法は、映像のみを入力として用いることで、モノラル入力から知覚的に説得力のあるバイナリック音声を効果的に生成できた。
• ネットワークが学習した自己教師付き表現は、音声・視覚源分離タスクの性能向上に寄与した。
• 物体の位置やシーンレイアウトといった視覚的手がかりは、生成されたバイナリック音声の空間的リアリズムを顕著に向上させた。
• モデルは未観測の音声・視覚ペairに良好に一般化し、シーン構成や音声コンテンツの変動に対しても頑健であることが示された。