[論文レビュー] Time Domain Neural Audio Style Transfer

Parag K. Mital|arXiv (Cornell University)|Nov 29, 2017

Speech and Audio Processing参考文献 3被引用数 10

ひとこと要約

本稿では、位相再構成を回避して生の音声信号を直接最適化する時間領域ニューラル音声スタイル転送手法を提案する。実験により、3×1畳み込みフィルタを用いた実部、虚部、振幅成分を連結したネットワークが、振幅のみのアプローチに比べてノイズを低減し、時間的詳細を向上させた高精細なスタイル転送を達成することが示された。

ABSTRACT

A recently published method for audio style transfer has shown how to extend the process of image style transfer to audio. This method synthesizes audio "content" and "style" independently using the magnitudes of a short time Fourier transform, shallow convolutional networks with randomly initialized filters, and iterative phase reconstruction with Griffin-Lim. In this work, we explore whether it is possible to directly optimize a time domain audio signal, removing the process of phase reconstruction and opening up possibilities for real-time applications and higher quality syntheses. We explore a variety of style transfer processes on neural networks that operate directly on time domain audio signals and demonstrate one such network capable of audio stylization.

研究の動機と目的

• 直接的な時間領域音声信号最適化が、位相再構成に依存せずに高品質な音声スタイル転送を達成できるかどうかを調査すること。
• DFT成分、位相差分、事前学習済み埋め込みなどを含む時間領域音声特徴を処理するさまざまなニューラルネットワークアーキテクチャを評価すること。
• 事前学習済みWaveNetやNSynthエンコーダーが、効果的なコンテンツ・スタイル分離とスタイル転送を可能にするかどうかを検証すること。
• Ulyanovらが提唱する既存の振幅ベース手法と比較して、時間領域スタイル転送の知覚的品質およびスペクトル的忠実度を評価すること。

提案手法

• 本手法は、DFTの実部、虚部、振幅成分を入力特徴として用いるニューラルネットワークを用いて、生波形を直接最適化する。
• 実部、虚部、振幅特徴を連結した入力に3×1カーネルサイズの畳み込みフィルタを適用し、時間的ダイナミクスおよび位相情報を保持する。
• コンテンツ損失は、全結合層の直前における連結特徴の活性化に基づき、スタイル損失は非線形性処理後の振幅成分に基づいて計算される。
• DFT成分、位相差分、WaveNetデコーダーやNSynthエンコーダーの事前学習済み活性化など、複数の入力表現を比較する。
• グリフィス＝リムによる位相再構成を不要とするエンドツーエンドの波形最適化により、スタイル転送を実行する。
• コンテンツ損失とスタイル損失の両方を最適化対象とし、知覚的類似性とスペクトル的忠実度の両面を向上させる。

実験結果

リサーチクエスチョン

• RQ1 位相再構成を回避して、生の時間領域音声信号を直接最適化することで、知覚的に意味のある音声スタイル転送が達成可能か？
• RQ2 実部／虚部、振幅、位相差分などの時間領域特徴表現のうち、最も効果的で安定したスタイル転送をもたらすのはどれか？
• RQ3 WaveNetデコーダーやNSynthエンコーダーのような事前学習済みニューラルネットワークが、時間領域音声スタイル転送におけるコンテンツ・スタイル分離に有効に利用可能か？
• RQ4 時間領域スタイル転送の知覚的品質およびスペクトル的忠実度は、Ulyanovらの振幅ベース手法と比較してどうか？

主な発見

• 3×1畳み込みフィルタを用いた実部・虚部・振幅成分を連結したネットワークが、コンテンツとスタイルの両方を高忠実度で保持する最も効果的なスタイル転送を達成した。
• この手法は、Ulyanovの振幅ベース手法に比べて顕著にノイズが少なく、位相再構成誤差を回避したためと推測される。
• スタイル転送出力は、同じサンプリングレートであるにもかかわらず、特に低周波数帯でより速く、よりダイナmicな時間的変化を示した。
• 認識可能な結果を生成したのは2つの構成のみであった：実部／虚部／振幅ネットワークと、振幅／アンラップド位相差分の設定で、後者はノイズが大きかった。
• 事前学習済みWaveNetデコーダーおよびNSynthエンコーダーの活性化は、意味のあるスタイル転送を生成できず、このタスクにおける特徴表現に限界があることが示唆された。