[論文レビュー] Deep Long Audio Inpainting

Ya-Liang Chang, Kuan-Ying Lee+3 more|arXiv (Cornell University)|Nov 15, 2019

Music and Audio Processing参考文献 43被引用数 23

ひとこと要約

本論文は、長時間音声補填（200 ms以上）のための最初のベンチマークおよびディープラーニングフレームワークを紹介する。スペクトログ램および波形に基づく新しいモデルを提案し、受容 field の設計、拡張およびゲート付き畳み込み、および知覚的損失を活用する。SC09およびESC-50データセットにおいて最先端の性能を達成し、受容 field のサイズと音声表現の種別が補填品質に顕著な影響を与えることを示している。

ABSTRACT

Long (> 200 ms) audio inpainting, to recover a long missing part in an audio segment, could be widely applied to audio editing tasks and transmission loss recovery. It is a very challenging problem due to the high dimensional, complex and non-correlated audio features. While deep learning models have made tremendous progress in image and video inpainting, audio inpainting did not attract much attention. In this work, we take a pioneering step, exploring the possibility of adapting deep learning frameworks from various domains inclusive of audio synthesis and image inpainting for audio inpainting. Also, as the first to systematically analyze factors affecting audio inpainting performance, we explore how factors ranging from mask size, receptive field and audio representation could affect the performance. We also set up a benchmark for long audio inpainting. The code will be available on GitHub upon accepted.

研究の動機と目的

• SC09およびESC-50データセットを用いて、長時間音声補填（200 ms以上）のための最初のベンチマークを確立すること。
• 画像補填、音声合成、およびDeep Image Priorからのディープラーニングモデルの適応可能性が、長時間音声補填に適用可能かどうかを調査すること。
• 受容 field、マスクサイズ、音声表現（波形／スペクトログラム）、畳み込みタイプといった、主なアーキテクチャ要因が補填性能に与える影響を体系的に分析すること。
• 優れた定量的および定性的な結果を得るための、新しいディープラーニングフレームワークを構築・評価すること。
• 既存手法およびGANベースの損失関数の限界を特定し、今後の研究方向性を提案すること。

提案手法

• 長距離依存性をモデル化するため、拡張およびゲート付き畳み込みを用いたスペクトログラムベースの深層ニューラルネットワークを提案する。
• 生波形から直接欠落音声を再構築するため、同様のアーキテクチャを用いた波形ベースのモデルを開発する。
• 構造的および知覚的忠実度を向上させるために、L1損失およびスペクトログラム特徴に基づく知覚的損失を採用する。
• 評価のため、スペクトログラムを波形に変換するためにGriffin-Limアルゴリズムを用い、周囲領域からの位相ヒントを活用して再構築品質を向上させる。
• 受容 field のサイズ、マスク比、カーネルサイズ、モデルの深さが補填性能に与える影響を評価するためのアブレーションスタディを実施する。
• 最先端の画像補填モデル（スペクトログラム上で学習）を微調整し、比較のためのベースラインとしてDeep Image Priorを適用する。

実験結果

リサーチクエスチョン

• RQ1 異なる受容 field のサイズが、長時間音声補填におけるディープラーニングモデルの性能にどのように影響するか？
• RQ2 音声表現の選択（波形対スペクトログラム）が、補填品質および一般化性能にどの程度影響を与えるか？
• RQ3 マスクサイズ（0.1〜0.25秒）が、欠落音声セグメントの回復能力に与える影響は何か？
• RQ4 画像補填および音声合成分野のモデルが、長時間音声補填タスクに効果的に適応可能か？
• RQ5 知覚的損失およびGANベースの損失が、補填音声の自然さと現実性を向上させる役割を果たすか？

主な発見

• 長時間ギャップの補填に成功するためには、受容 field のサイズがマスクサイズと同等以上である必要がある。ある閾値を超えると性能は頭打ちまたは低下する。
• 受容 field が固定されたモデルでは、0.1〜0.16秒のマスク長は処理可能だが、受容 field の容量を超えると失敗する。
• 提案されたスペクトログラムベースのモデルは、SC09およびESC-50データセットの両方で、ベースラインより低いL1損失および知覚的誤差を達成し、定性的な音質の顕著な向上を示している。
• 波形ベースのモデルは、特に発話の聞き取りやすさと自然さを保つ点で、ベースライン手法を上回る知覚的品質を達成している。
• 本研究ではGAN損失が結果を改善しなかったため、現在のアーキテクチャでは敵対的訓練が長時間音声補填に有益でない可能性がある。
• 失敗事例では、通常、音の「フェードアウト」効果が観察される。すなわち、マスクの開始および終了部で音が弱まる傾向があり、位相および振幅の回復に十分なコンテキストが不足していることが示唆される。