[論文レビュー] Bandwidth Extension on Raw Audio via Generative Adversarial Networks

Sung Hoon Kim, Visvesh Sathe|arXiv (Cornell University)|Mar 21, 2019

Advanced Image Processing Techniques参考文献 26被引用数 21

ひとこと要約

本稿では、教師あり特徴損失を用いずに、畳み込みオートエンコーダから導出された非教師付き特徴損失を用いるGANベースの音声スーパーレゾリューション手法を提案する。この手法は、ラベル付きデータや事前学習済み分類器を必要とせず、音声および音楽タスクにおいて客観的・主観的品質の両面で最先端の性能を達成しており、ベースライン手法と比較して高周波成分の再構成が向上し、アーティファクトが低減されている。

ABSTRACT

Neural network-based methods have recently demonstrated state-of-the-art results on image synthesis and super-resolution tasks, in particular by using variants of generative adversarial networks (GANs) with supervised feature losses. Nevertheless, previous feature loss formulations rely on the availability of large auxiliary classifier networks, and labeled datasets that enable such classifiers to be trained. Furthermore, there has been comparatively little work to explore the applicability of GAN-based methods to domains other than images and video. In this work we explore a GAN-based method for audio processing, and develop a convolutional neural network architecture to perform audio super-resolution. In addition to several new architectural building blocks for audio processing, a key component of our approach is the use of an autoencoder-based loss that enables training in the GAN framework, with feature losses derived from unlabeled data. We explore the impact of our architectural choices, and demonstrate significant improvements over previous works in terms of both objective and perceptual quality.

研究の動機と目的

• ラベル付きデータや補助分類器に依存しないGANを用いた音声スーパーレゾリューションの訓練に課題を解決すること。
• 生の音声スーパーレゾリューションに適した、堅牢でエンドツーエンドのディーブラーニングアーキテクチャを構築すること。
• オートエンコーダに基づく非教師付き特徴損失を導入し、GANの訓練を安定化させ、再構成の忠実度を向上させること。
• 複数の音声ドメイン（スピーチおよび音楽）および複数のアップサンプリング比において、本手法の有効性を示すこと。
• モデルの深さ、損失成分、アーキテクチャ的選択の影響を詳細に分析するアブレーションスタディを実施すること。

提案手法

• 本手法は、残差ブロックと拡張畳み込みを備えた、生の音声スーパーレゾリューションに特化したU-Net風のエンコーダ・デコーダアーキテクチャ、MU-GANを採用する。
• 本手法では、事前学習済み畳み込みオートエンコーダから導出された新しい非教師付き特徴損失を提案する。この損失は、オートエンコーダのボトルネック層からの中間特徴表現を抽出する。
• 特徴損失は、オートエンコーダの潜在空間における高周波音声と再構成音声の間の主観的類似性を測定し、従来の分類器ベースの損失に代わる。
• 訓練は、敵対的損失、生波形上のL2損失、および提案された非教師付き特徴損失の組み合わせを用いて行い、訓練の安定化とリアルさの向上を図る。
• 特徴損失に用いるオートエンコーダは、ラベルなし音声データ上で事前学習されるため、ドメイン固有のラベルなしに多様な音声コンテンツに一般化可能である。
• 本フレームワークはR=2からR=6までのアップサンプリング比をサポートし、各損失成分およびモデルの深さの寄与度を評価するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 教師付きデータや事前学習済み分類器を一切必要としないGANベースの音声スーパーレゾリューションモデルは、最先端の性能を達成できるか？
• RQ2 オートエンコーダから導出された非教師付き特徴損失は、分類器ベースの特徴損失と比較して、音声品質および訓練安定性の面で優れているか？
• RQ3 モデルの深さおよび損失成分（敵対的、L2、特徴）が、高アップサンプリング比における主観的・客観的音声品質に与える影響は何か？
• RQ4 本手法は、既存のベースラインと比較して、高周波成分の再構成を顕著に改善しているか？
• RQ5 非教師付き特徴損失は、アーティファクトや過剰に滑らかになる現象を低減させることで、音声生成タスクにおけるGAN訓練を効果的に安定化できるか？

主な発見

• 提案された非教師付き特徴損失は、ラベル付きデータを一切必要としないにもかかわらず、同じタスクにおいて分類器ベースの特徴損失（例：VGGベース）と同等、あるいはわずかに優れた性能を達成した。
• R=6の条件下で、MU-GAN8モデルはMOS-LQOスコア3.21を達成し、U-net8ベースライン（R=4で3.17、R=6で3.07）を著しく上回った。
• アブレーションスタディの結果、浅いMU-GAN4モデルに敵対的損失および非教師付き特徴損失を追加することで、R=4におけるMOS-LQOスコアが3.15から3.79に向上した。これは、これらの損失がアンダーフィッティングを効果的に緩和していることを示している。
• 提案された損失を用いた場合、R=2でSNR21.40 dB、R=6で13.98 dBを達成し、アップサンプリング比にかかわらず一貫した性能を示した。
• A/Bユーザー評価では、ピアノタスクで15回中14回、スピーカータスクで15回中15回、MU-GAN8がU-net8を上回り、強い主観的優位性を示した。
• スペクトログラム解析により、MU-GAN8が高周波成分をよりよく再構成していることが確認された。特に、『k』や『s』のような子音では、ベースライン出力と比較して、しばしばぼやけたり、かすんだりする現象が顕著に改善された。