[論文レビュー] Generative adversarial network-based approach to signal reconstruction from magnitude spectrograms

K. Oyamada, Hirokazu Kameoka+4 more|arXiv (Cornell University)|Apr 6, 2018

Image and Signal Denoising Methods参考文献 2被引用数 5

ひとこと要約

本論文は、反復的グリフィン＝リムアルゴリズムを回避するため、位相情報を欠落させたスペクトログ램から高品質な時間領域音声信号を再構築するGANベースの深層学習手法を提案する。敵対的損失を用いて生成器ネットワークを訓練し、欠落した位相情報を推定することで、より高速かつ高精度な再構築を実現。GPUで加速された場合、速度と聴取的品質の両面でグリフィン＝リム法を上回る。

ABSTRACT

In this paper, we address the problem of reconstructing a time-domain signal (or a phase spectrogram) solely from a magnitude spectrogram. Since magnitude spectrograms do not contain phase information, we must restore or infer phase information to reconstruct a time-domain signal. One widely used approach for dealing with the signal reconstruction problem was proposed by Griffin and Lim. This method usually requires many iterations for the signal reconstruction process and depending on the inputs, it does not always produce high-quality audio signals. To overcome these shortcomings, we apply a learning-based approach to the signal reconstruction problem by modeling the signal reconstruction process using a deep neural network and training it using the idea of a generative adversarial network. Experimental evaluations revealed that our method was able to reconstruct signals faster with higher quality than the Griffin-Lim method.

研究の動機と目的

• 位相情報が欠落しているため、時間領域音声信号をマグニチュードスペクトログラムから再構築する課題に対処すること。
• 収束が遅く、音声品質が一貫しないというグリフィン＝リム法の限界を克服すること。
• 深層ニューラルネットワークを用いた学習ベースのアプローチにより、位相再構築プロセスをより効率的にモデル化すること。
• 生成的敵対的ネットワーク（GANs）を活用し、データから現実的な位相パターンを学習することで、聴取的品質を向上させること。
• 訓練データに音声のみを用いても、未観測の音声タイプ（例：音楽）に一般化できることを示すこと。

提案手法

• マグニチュードスペクトログラムから時間領域信号へのマッピングを実現するため、欠落した位相成分を推定する深層ニューラルネットワーク生成器を訓練する。
• 生成器が実際の信号と生成された信号を区別できるように、識別器と敵対的に訓練するGANフレームワークを採用する。
• 敵対的訓練に基づく知覚的損失を用い、高品質な位相再構築の指標を暗黙的に学習する。
• 訓練用スペクトログラムの位相をランダムにシフトすることでデータ拡張を実施し、生成器がフレーム間の位相一貫性を学習できるようにする。
• 実信号のスペクトル対称性を活用するため、生成器の入力と出力をナイキスト周波数範囲（0 から fs/2）に制限する。
• 特徴抽出と信号再構築の両方を担う、U-Netに類似したアーキテクチャを採用。畳み込み層と逆畳み込み層（トランスポジット畳み込み）を用いる。

実験結果

リサーチクエスチョン

• RQ1 GANベースの深層学習モデルは、マグニチュードスペクトログラムから高精細な音声信号を再構築する際、グリフィン＝リムアルゴリズムを上回ることができるか？
• RQ2 提案手法は、聴取的品質を維持または向上させつつ、再構築時間を高速化できるか？
• RQ3 訓練データに含まれない音声タイプ（例：音楽）に対しても、モデルは一般化できるか？
• RQ4 従来の最適化ベースの手法と比較して、敵対的訓練が現実的な位相パターンを学習する効果はいかほどか？
• RQ5 データ拡張は、モデルのフレーム間位相連続性の学習能力にどのような影響を与えるか？

主な発見

• 主観的ABテストにおいて、提案手法は400イテレーション後のグリフィン＝リム法を大きく上回る76％の好ましさ率を達成した。
• GPUを用いた場合、提案手法の再構築はグリフィン＝リム法の約10倍速く、リアルタイム推論が可能になった。
• 訓練データに含まれない音楽信号に対しても、モデルは良好に一般化し、グリフィン＝リム出力に見られる不連続性のない滑らかな波形を生成した。
• 訓練データに音声のみを用いても、モデルは音楽信号を聴取的に自然な品質で再構築できた。
• 提案手法の処理時間は信号長に比例して増加し、GPUを用いる場合、信号長の約1/10にまで短縮された。
• CPUでは、提案手法の処理時間は信号長の約3倍かかっていたため、リアルタイムCPUデプロイのためにはモデル圧縮が必要であると示唆された。