[論文レビュー] Neural Style Transfer for Audio Spectograms

Prateek Verma, Julius O. Smith|arXiv (Cornell University)|Jan 4, 2018

Music and Audio Processing参考文献 2被引用数 34

ひとこと要約

この論文は、事前学習済みの畳み込みニューラルネットワーク（CNN）を用いて、コンテンツおよびスタイル特徴を一致させるようにノイズを含む入力を最適化することで、画像スタイル転送技術を音声スペクトログラムに適応したニューラルスタイル転送を紹介する。統一された損失関数にコンテンツ、スタイル、エネルギーエンベロープの項を組み合わせることで、帯域幅の圧縮および拡張、楽器や声間でのトーンの転送を実現する。

ABSTRACT

There has been fascinating work on creating artistic transformations of images by Gatys. This was revolutionary in how we can in some sense alter the 'style' of an image while generally preserving its 'content'. In our work, we present a method for creating new sounds using a similar approach, treating it as a style-transfer problem, starting from a random-noise input signal and iteratively using back-propagation to optimize the sound to conform to filter-outputs from a pre-trained neural architecture of interest. For demonstration, we investigate two different tasks, resulting in bandwidth expansion/compression, and timbral transfer from singing voice to musical instruments. A feature of our method is that a single architecture can generate these different audio-style-transfer types using the same set of parameters which otherwise require different complex hand-tuned diverse signal processing pipelines.

研究の動機と目的

• 画像処理で開発されたニューラルスタイル転送を、もともとは画像を対象として開発されたが、音声スペクトログラムに拡張し、クリエイティブな音声生成を実現すること。
• 1つの音声のコンテンツを保持しつつ、別の音声からのトーンおよびスペクトル的特徴を転送するという課題に取り組むこと。
• 音声変換タスクのための複雑で手作業で調整された信号処理パイプラインに代わる、単一でパrameter化可能なフレームワークを開発すること。
• 深層ニューラルネットワークの特徴活性化が、ランダムノイズから知覚的に妥当な音声を合成するのをガイドできるかを検証すること。
• エネルギーエンベロープおよびスペクトルエンベロープ制約が、生成音声の知覚的品質に与える影響を調査すること。

提案手法

• バックプロパゲーションを用いて、コンテンツ、スタイル、エネルギーに基づく損失の合計損失関数を最小化するように、ランダムノイズを含む入力スペクトログラムを最適化する。
• 80種類の楽器クラス（AudioSetから抽出）を用いて学習された、3×3畳み込みおよび2×2プーリングを組み込んだ変更版6層アーキテクチャのAlexNetを用いる。
• コンテンツ音声（例：ハープや声）の活性化パターンと一致するように、CNNの中間層からコンテンツ特徴を抽出する。
• 選択された畳み込み層からの特徴マップのグラム行列を用いてスタイル損失を計算し、Gatysらの画像処理手法と同様の方法を採用する。
• スタイル音声の時間的エネルギーエンベロープおよび周波数的エネルギーエンベロープ（トーンエンベロープ）を一致させるために、追加の損失項$L_e$および$L_t$を組み込む。
• 最適化されたマグニチュードスペクトログラムからグリフィン＝リム法を用いて最終的なスペクトログラムを再構築し、完全な位相回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 画像処理で用いられるニューラルスタイル転送技術は、音声スペクトログラムへの応用が可能であり、音声合成に有効に機能するか？
• RQ2 同一のパrameterセットを用いて、1つの深層ニューラルネットワークアーキテクチャが、帯域幅の圧縮および拡張といった多様な音声変換をどれほど効果的に生成できるか？
• RQ3 エネルギーエンベロープおよびスペクトルエンベロープ制約は、スタイル転送における生成音声の知覚的品質にどのように影響を与えるか？
• RQ4 グラム行列のみで音声スタイルの必要な知覚的特徴を十分に捉えられるか、それとも追加の損失項が必要か？
• RQ5 事前学習済みのCNNによる特徴ベース最適化のみを用いて、ランダムノイズから高品質で知覚的に妥当な音声を生成することは可能か？

主な発見

• チューニングフォークのスタイルをハープに転送することで、帯域幅圧縮された音声が成功裏に生成され、単一周波数のトーンが得られた。
• バイオリンのスタイルを歌い声に転送することで、帯域幅拡張が達成され、高調波が強化され、スペクトルコンテンツが豊かになった。
• エネルギーエンベロープ損失（$L_e$）およびトーンエンベロープ損失（$L_t$）を組み込むことで、知覚的品質が顕著に向上した。グラム行列のみでは時間的ダイナミクスが保持されなかった。
• 統一された損失関数により、同じネットワークおよび最適化設定を用いてトーンの転送とスペクトル操作の両方が可能となり、タスク固有の信号処理パイプラインの必要性が排除された。
• グリフィン＝リム法を用いて音声に再構築されたスペクトログラムは、聴覚的に明瞭で知覚的に整合性のある結果をもたらし、本手法の実現可能性を示した。
• コンテンツおよびスタイルの入力を調整するだけで、再トレーニングやパrameter再設定なしに、多様な音声変換を柔軟に生成できることを示した。