[論文レビュー] Audio inpainting of music by means of neural networks

Andr eacute Marafioti, Nicki Holighaus+2 more|arXiv (Cornell University)|Oct 29, 2018

Music and Audio Processing被引用数 8

ひとこと要約

本論文では、冗長な短時間フーリエ変換（STFT）から得られる時間周波数（TF）係数を用いて、音楽や楽器音声の欠落部分（48–64 ms）を再構築する、コンテキストエンコーダー構造に基づく深層ニューラルネットワーク（DNN）を提案する。音楽におけるマグニチュードスペクトログ램SNRの観点で、線形予測符号化（LPC）を上回る性能を示しており、知覚的に関連する再構築にDNNの有効性が裏付けられている。

ABSTRACT

We studied the ability of deep neural networks (DNNs) to restore missing audio content based on its context, a process usually referred to as audio inpainting. We focused on gaps in the range of tens of milliseconds. The proposed DNN structure was trained on audio signals containing music and musical instruments, separately, with 64-ms long gaps. The input to the DNN was the context, i.e., the signal surrounding the gap, transformed into time-frequency (TF) coefficients. Our results were compared to those obtained from a reference method based on linear predictive coding (LPC). For music, our DNN significantly outperformed the reference method, demonstrating a generally good usability of the proposed DNN structure for inpainting complex audio signals like music.

研究の動機と目的

• 文脈的情報を用いて欠落した音声セグメントを再構築する深層ニューラルネットワークを開発すること。
• 提案されたDNNの性能を、音楽および分離された楽器信号において、従来のLPCベースの手法と比較すること。
• 訓練時に使用された64 msより短いギャップに、モデルがどの程度一般化できるかを調査すること。
• 時間周波数表現（STFT）を可逆的（逆変換可能）な入力表現として用いることで、堅牢な音声再構築が可能かどうかを検討すること。
• 複雑な音声ミックスに特化したモデルが、一般用途のモデルを上回る性能を示す可能性を評価すること。

提案手法

• モデルは、時間周波数ドメインにおける周囲の文脈を基に、欠落したマグニチュードスペクトログラム係数を予測する畳み込みニューラルネットワーク（CNN）と全結合層を用いる。
• 入力特徴量は、可逆性を保証する冗長な短時間フーリエ変換（STFT）により得られる時間周波数係数である。
• ネットワークはマグニチュードスペクトルの再構築のみを学習対象とし、位相は位相再構築アルゴリズムを用いて回復し、最終的な音声信号を合成する。
• 文脈に基づくサンプル予測を模倣する形で、自己符号化器に類似したコンテキストエンコーダー（CE）と同様の非教師あり学習でモデルを訓練する。
• 性能評価は、分離された楽器音声とポリフォニック音楽の両方に対して実施され、マグニチュードスペクトログラムSNR（MS-SNR）を指標とする。
• 64 msで訓練された出力を用いて、48 msギャップへの一般化を検証するため、前方、後方、中央寄りの延長処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、音楽信号における短い音声ギャップ（48–64 ms）を再構築する際、従来のLPCベースの手法を上回ることができるか？
• RQ2 分離された楽器と複雑なポリフォニック音楽との間で、モデルの性能はどのように変化するか？
• RQ3 64 msギャップで訓練されたモデルが、短いギャップ（例：48 ms）の再構築にどの程度一般化できるか？
• RQ4 冗長なSTFTを可逆的入力表現として用いることで、堅牢で知覚的に正確な音声再構築が可能になるか？
• RQ5 特定のジャンルや楽器に特化して訓練された専用モデルは、一般用途のモデルを上回る性能を示せるか？

主な発見

• 音楽信号において、提案されたDNNは平均MS-SNR 8.0 dBを達成し、LPCベースの手法（6.9 dB）を顕著に上回り、優れた再構築品質を示した。
• 分離された楽器音声では、LPCベースの手法がDNNを上回り、平均MS-SNR 33.2 dBを記録した一方、DNNは21.6 dBであった。
• DNNは短いギャップへの一般化能力を示した。64 msで訓練されたモデルを用いて48 msギャップを再構築した場合、前方、後方、中央寄りの延長処理のいずれに対しても性能が一貫していた。
• DNNが音楽において優れた性能を発揮する背景には、LPCが効果的に捉えきれないトランジェントイベントや周波数変調をモデル化できる能力があると考えられる。
• ギャップ延長戦略に関わらず、SNRに顕著な低下が見られず、ギャップ長の変動に対してもモデルの性能が安定していることが示された。
• 初期のテストでは、ネットワークの深さを増加させてもわずかな改善しか得られず、深さそのものよりもアーキテクチャ設計と部品選定の重要性が顕在化した。