[論文レビュー] Audio Super Resolution using Neural Networks

Volodymyr Kuleshov, S. Zayd Enam+1 more|arXiv (Cornell University)|Aug 2, 2017

Speech and Audio Processing参考文献 20被引用数 39

ひとこと要約

この論文では、画像超解像にインspiredされた、低解像度入力から高解像度サンプルを予測することで音声信号をアップサンプリングする深層畳み込みニューラルネットワークを提案する。音声および音楽のベンチマークにおいて2×、4×、6×のアップスケーリング比で最先端の性能を達成し、従来の手法を上回りながらも、より単純でリアルタイム対応が可能である。

ABSTRACT

We introduce a new audio processing technique that increases the sampling rate of signals such as speech or music using deep convolutional neural networks. Our model is trained on pairs of low and high-quality audio examples; at test-time, it predicts missing samples within a low-resolution signal in an interpolation process similar to image super-resolution. Our method is simple and does not involve specialized audio processing techniques; in our experiments, it outperforms baselines on standard speech and music benchmarks at upscaling ratios of 2x, 4x, and 6x. The method has practical applications in telephony, compression, and text-to-speech generation; it demonstrates the effectiveness of feed-forward convolutional architectures on an audio generation task.

研究の動機と目的

• 複雑な信号処理パイプラインを回避する、単純でスケーラブルなディープラーニング手法を音声超解像のために開発すること。
• エンドツーエンドのニューラルネットワークを用いて、画像超解像技術を音声ドメインに拡張すること。
• 電話通話、圧縮、テキスト音声合成などの応用における帯域拡張を改善し、低解像度入力から高音質音声を再構築すること。
• 原始音声入力に対する完全畳み込み型でフォワード伝搬型のアーキテクチャの有効性を、音声生成タスクにおいて評価すること。
• 音声ドメイン（話声対音楽）の間での一般化能力を評価し、性能に寄与するアーキテクチャ的要素を分析すること。

提案手法

• モデルは、低解像度音声信号からの階層的特徴抽出に、残差ブロックを用いた深層残差ネットワークを採用する。
• 特徴マップのアップサンプリングにサブピクセル畳み込み層を用い、高解像度音声サンプルを効果的に予測する。
• 予測された高解像度信号と真値との間の平均二乗誤差（MSE）損失を用いて、ペアドされた低解像度および高解像度音声例上でエンドツーエンドに訓練する。
• 学習の安定化と勾配の流れの改善を図るため、スキップ接続（加法的およびアイデンティティ型）を含む。
• 手作業で設計された特徴量や信号処理変換を必要とせず、原始音声上で時間ドメインで動作する。
• 完全にフォワード伝搬型であり、推論効率が高く、リアルタイム処理が可能（Titan X GPU上では1秒あたり0.11秒）である。

実験結果

リサーチクエスチョン

• RQ1 単純でエンドツーエンドのディープラーニングモデルは、従来の信号処理手法や先行の学習ベース手法を上回る性能を発揮できるか？
• RQ2 完全畳み込み型でフォワード伝搬型のアーキテクチャは、低解像度入力から高音質音声を生成するのにどの程度有効か？
• RQ3 話声で学習したモデルが音楽のような非話声音声に一般化できる程度はどの程度か、逆に音楽で学習したモデルが話声に一般化できるか？
• RQ4 スケップ接続や残差ブロックなどのアーキテクチャ的要素の中で、音声超解像の性能に最も寄与するのはどれか？
• RQ5 既存のアプローチと比較して、データセットのサイズや計算リソースの増加に伴うスケーリング特性はいかがなっているか？

主な発見

• 提案手法は、話声および音楽ベンチマークの両方において、2×、4×、6×のアップスケーリング比でベースライン手法を上回った。
• MultiSpeakerおよびPianoデータセットにおいて最先端の性能を達成し、主観的品質と定量的指標の両面で顕著な改善が見られた。
• アブレーションスタディの結果、対称的なスキップ接続が性能に不可欠であり、加法的残差接続がわずかだが明確な主観的向上をもたらした。
• 話声で学習したモデルが音楽データでテストされた場合、および逆に音楽で学習したモデルが話声でテストされた場合、一般化性能が著しく低いことが示され、ドメイン特化の兆候が確認された。
• 大規模で多様なMagnaTagATuneデータセット（200時間以上、188ジャンル）では、モデルがアンダーフィットし、スプラインベースラインを上回る改善が得られなかった。これは、より大きなモデルと追加のデータがなければ一般化に限界がある可能性を示唆している。
• モデルはリアルタイムで処理可能（Titan X GPU上では1秒あたり0.11秒）、電話通話、テキスト音声合成、圧縮などの実用的応用に適している。