[論文レビュー] Audio inpainting with generative adversarial network

Pirmin Philipp Ebner, A. Eltelt|arXiv (Cornell University)|Mar 13, 2020

Music and Audio Processing参考文献 19被引用数 25

ひとこと要約

本稿では、500–550 ms の長時間ギャップの音声補完のため、D2WGAN（二重判別器 Wasserstein GAN）を提案する。短時間および長時間の音声境界を活用することで、グローバルな整合性と高周波数再構成を向上させる。D2WGAN は、特に周波数スペクトルが低く、ダイナミックなトーンを示す楽器（ギター、オーケストラをバックにしたピアノなど）において、古典的 WGAN よりも ODG（客観的差分評価）スコアで優れている。

ABSTRACT

We study the ability of Wasserstein Generative Adversarial Network (WGAN) to generate missing audio content which is, in context, (statistically similar) to the sound and the neighboring borders. We deal with the challenge of audio inpainting long range gaps (500 ms) using WGAN models. We improved the quality of the inpainting part using a new proposed WGAN architecture that uses a short-range and a long-range neighboring borders compared to the classical WGAN model. The performance was compared with two different audio instruments (piano and guitar) and on virtuoso pianists together with a string orchestra. The objective difference grading (ODG) was used to evaluate the performance of both architectures. The proposed model outperforms the classical WGAN model and improves the reconstruction of high-frequency content. Further, we got better results for instruments where the frequency spectrum is mainly in the lower range where small noises are less annoying for human ear and the inpainting part is more perceptible. Finally, we could show that better test results for audio dataset were reached where a particular instrument is accompanist by other instruments if we train the network only on this particular instrument neglecting the other instruments.

研究の動機と目的

• 従来の手法が非定常性と高次元性のため失敗する長時間の音声補完（500–550 ms）の課題に対処すること。
• 生成器の入力に短時間および長時間の文脈的情報を活用することで、音声品質を向上させること。
• 特定の楽器に限定して学習し、付随する楽器を無視することで、より良い汎化性能と知覚的品質が得られるかどうかを検証すること。
• 信頼できる自動化された音声補完用メトリクスが存在しないため、人間中心の客観的差分評価（ODG）を用いてモデル性能を評価すること。

提案手法

• ギャップ周辺の局所的（短時間）文脈とグローバル的（長時間）文脈に注目する二つの判別器を備えた、新規な D2WGAN アーキテクチャを提案する。
• 時間的・周波数的忠実度を保つために、スペクトログ램やマルチモーダルアプローチではなく、波形ベースの生成を採用する。
• 生成器を、直近の隣接セグメントと遠く離れた文脈的セグメントの両方を条件として、欠落した音声セグメントを再構成するように訓練する。
• 生成器が二つの判別器の両方をだませるように、生成器と判別器の間で二対のミニマックスゲームを実施する。
• 訓練の安定化とモードカバレッジの向上のため、WGAN フレームワークに勾配ペナルティと重みクリッピングを適用する。
• 人間評価による ODG を用いて性能を評価する。これは、信頼できる自動音声品質メトリクスが存在しないため、主な評価指標である。

実験結果

リサーチクエスチョン

• RQ1 短時間および長時間の文脈を統合することで、古典的 WGAN よりも D2WGAN の二重判別器アーキテクチャが長時間音声補完性能を向上させられるか？
• RQ2 付随する楽器を無視して特定の楽器に限定して学習することで、混合音声環境下での知覚的品質が向上するか？
• RQ3 楽器の周波数スペクトル（例：低周波数対高周波数成分）が、補完音声の知覚的品質にどのように影響するか？
• RQ4 モデルは、特定の楽器で学習した後、異なる楽器や音声データセットにどれほど汎化できるか？特に単一楽器で学習した場合に限る。
• RQ5 訓練ステップを増やすことで性能が向上し、過学習を引き起こさないか？また、長時間の文脈窓を用いることでモデルが恩恵を受けるか？

主な発見

• D2WGAN は、PIANO、GUITAR、MAESTRO の3つのデータセットすべてにおいて、古典的 WGAN を上回り、ODG スコアで統計的に有意な改善を示した。
• D2WGAN は高周波数成分の再構成が優れており、特にオーケストラをバックにしたギターやピアノにおいて顕著に効果を発揮した。
• 背景のオーケストラ的要素を抑えて、ターゲット楽器（例：ピアノ）に限定して学習させたことで、混合音声データセット上での性能が向上した。これは、関係のない音声コンテンツからの干渉が減少したことを示唆している。
• 周波数スペクトルが低い楽器では、小さなノイズアーチファクトが目立たず、補完の影響がより顕著に感じられるため、D2WGAN はそのような楽器でより良い結果を出した。
• 140k ステップまで訓練ステップを増やすことで性能が向上し、過学習を引き起こさなかった。これは、モデルが延長された訓練を恩恵を受けており、さらなる最適化の余地があることを示している。
• D2WGAN の二重判別器設計は、局所的およびグローバルな文脈を効果的に活用し、長ギャップ補完におけるグローバルな整合性の向上とアーチファクトの低減に寄与した。