[論文レビュー] Deep Audio Prior

Yapeng Tian, Chenliang Xu+1 more|arXiv (Cornell University)|Sep 25, 2019

Speech and Audio Processing参考文献 50被引用数 6

ひとこと要約

本論文では、訓練データを一切必要とせず、時間的音声構造を活用したランダムに初期化された深層ニューラルネットワークを用いることで、ブラインドソース分離、音声編集、テクスチャ生成といった挑戦的な音声タスクを解決する手法であるDeep Audio Prior (DAP) を提案する。DAPはUniversal-150ベンチマークにおいて最先端の結果を達成し、多様な音声ソースにわたる強いロバストネスと一般化性能を示している。

ABSTRACT

Deep convolutional neural networks are known to specialize in distilling compact and robust prior from a large amount of data. We are interested in applying deep networks in the absence of training dataset. In this paper, we introduce deep audio prior (DAP) which leverages the structure of a network and the temporal information in a single audio file. Specifically, we demonstrate that a randomly-initialized neural network can be used with carefully designed audio prior to tackle challenging audio problems such as universal blind source separation, interactive audio editing, audio texture synthesis, and audio co-separation. To understand the robustness of the deep audio prior, we construct a benchmark dataset \emph{Universal-150} for universal sound source separation with a diverse set of sources. We show superior audio results than previous work on both qualitative and quantitative evaluations. We also perform thorough ablation study to validate our design choices.

研究の動機と目的

• ラベル付きデータや事前学習済みデータを一切必要としない音声再構成および操作のための深層学習手法の開発。
• 単一の音声サンプルにおける時間的構造を活用することで、ランダムに初期化されたニューラルネットワークが音声に強力な事前分布として機能できるかどうかの検討。
• 訓練データが存在しない状況下でのユニバーサルなブラインドソース分離の実現。音声コセパレーションやインタラクティブ編集などの応用を可能にする。
• 新しいベンチマークを用いて、提案手法の多様な音声ソースにわたるロバストネスと一般化性能を検証すること。

提案手法

• ランダムに初期化された深層畳み込みニューラルネットワークを事前分布として用い、そのアーキテクチャと学習された時間的ダイナミクスが音声再構成をガイドする。
• 音声波形における長距離依存性を捉えるように工夫されたネットワーク構造により、時間的モデリングを組み込む。
• 音声の固有の構造とコンテンツとの整合性を強制する損失関数を最小化することで、音声再構成を最適化する。
• 外部データを必要とせず、知覚的およびスペクトル的特性を保持する微分可能な損失関数により、音声事前分布を強制する。
• 信号の内部構造のみを監視情報として用い、単一の音声ファイル上でエンドツーエンドに訓練するフレームワーク。
• 多様で現実世界の音声ソースにわたるユニバーサルな音声ソース分離を評価するため、新しいベンチマーク「Universal-150」を構築。

実験結果

リサーチクエスチョン

• RQ1 訓練データを一切必要としないランダムに初期化された深層ニューラルネットワークが、音声再構成および操作のための強力な事前分布として機能できるか？
• RQ2 本手法は、ペairedデータやラベル付きデータが存在しない状況下で、単一の混合音声信号から複数の音声源をどれほど効果的に分離できるか？
• RQ3 本手法は、会話、音楽、環境音など多様な音声タイプにどの程度一般化できるか？
• RQ4 ネットワークアーキテクチャおよび損失関数におけるどの設計選択が、性能およびロバストネスに最も顕著な影響を及ぼすか？

主な発見

• 提案されたDeep Audio Priorは、Universal-150ベンチマークにおいて、定量的および定性的な両評価で先行する最先端手法を上回る優れた性能を達成した。
• 本手法は、会話、音楽、環境音など多様な音声ソースに強く一般化しており、特定のデータに合わせた適応処理を一切必要としない。
• アブレーションスタディの結果、ネットワークアーキテクチャと時間的モデリングの組み合わせが性能に不可欠であることが確認された。単にランダム初期化を行うだけでは不十分である。
• 本手法は、単一の音声サンプルを入力として用いるだけで、高品質なユニバーサルなブラインドソース分離、音声コセパレーション、インタラクティブ音声編集を実現できる。