[論文レビュー] Phase reconstruction based on recurrent phase unwrapping with deep neural networks

Yoshiki Masuyama, Kohei Yatabe+3 more|arXiv (Cornell University)|Feb 14, 2020

Speech and Audio Processing参考文献 30被引用数 5

ひとこと要約

本稿では、直接的な位相推定の不安定性を回避するため、位相微分（瞬時周波数と群遅延）を予測するDNNを訓練し、それを再帰的位相アンラップ（RPU）技術を用いて再帰的にアンラップする2段階のDNNベースの位相再構成手法を提案する。この手法は、von Mises DNNを用いた直接的位相推定および瞬時周波数の数値的統合と比較して、客観的指標および主観的品質の両面で優れている。

ABSTRACT

Phase reconstruction, which estimates phase from a given amplitude spectrogram, is an active research field in acoustical signal processing with many applications including audio synthesis. To take advantage of rich knowledge from data, several studies presented deep neural network (DNN)--based phase reconstruction methods. However, the training of a DNN for phase reconstruction is not an easy task because phase is sensitive to the shift of a waveform. To overcome this problem, we propose a DNN-based two-stage phase reconstruction method. In the proposed method, DNNs estimate phase derivatives instead of phase itself, which allows us to avoid the sensitivity problem. Then, phase is recursively estimated based on the estimated derivatives, which is named recurrent phase unwrapping (RPU). The experimental results confirm that the proposed method outperformed the direct phase estimation by a DNN.

研究の動機と目的

• 波形の時間シフトに対して位相が敏感であるため、直接的DNNベースの位相再構成の不安定性を解消すること。
• 原始的な位相の代わりに位相微分を活用することで、位相推定における折りたたみ効果を克服すること。
• 微分の推定とその後の再帰的アンラップという2段階のアプローチにより、位相再構成の精度を向上させること。
• 未学習データに一般化しやすい、安定的かつ微分可能な位相再構成フレームワークを開発すること。
• 提案手法が直接的位相推定および従来の位相再構成ベースラインより優れていることを検証すること。

提案手法

• 本手法は、対数振幅スペクトログラムから瞬時周波数（IF）と群遅延（GD）を推定する2つの独立したDNNを用いる。
• 位相微分は、ゲート付きtanh活性化関数を用いた全結合DNNによって予測され、入力特徴は正規化されたもの（現在および±2フレーム分の対数振幅）である。
• 提案された再帰的位相アンラップ（RPU）アルゴリズムは、時間周波数ビンごとに最小二乗最適化問題を解くことで、再帰的にアンラップされた位相を再構成する。
• RPUは位相再構成を2次元の位相アンラップ問題として扱い、推定された真の位相微分との差を最小化するとともに、連続性を強制する。
• 直接的な位相回帰を回避することで、標準DNNが不安定化する微小な時間ドメインシフトに対して感受性が低下する。
• 評価における音声品質のさらなる向上のため、後処理としてGriffin-Limアルゴリズム（GLA）が適用される。

実験結果

リサーチクエスチョン

• RQ1 原始的な位相の代わりに位相微分を予測することで、DNNベースの位相再構成の安定性と正確性が向上するか？
• RQ2 2段階のアプローチ（微分推定 → 再帰的アンラップ）は、直接的位相推定よりも優れた位相再構成を実現するか？
• RQ3 提案されたRPU手法は、von Mises DNNを用いた直接的位相推定および瞬時周波数の数値的統合といったベースライン手法と比較して、どのように差をつけるか？
• RQ4 特に直接的位相DNNが過学習しやすい傾向にあることを考慮すると、提案手法は未学習のテストデータにどの程度一般化できるか？
• RQ5 瞬時周波数と群遅延を同時に推定することで、IFのみを用いる場合よりも正確な位相再構成が達成できるか？

主な発見

• 位相微分を推定するDNN（IFとGD）は、それぞれテスト精度が0.644および0.646を達成し、直接的位相推定の精度0.003よりも顕著に高い。
• 直接的位相推定DNNは著しく過学習しており、訓練精度は0.238であるが、テスト精度はわずか0.003にとどまり、一般化性能が著しく低いことが示された。
• 提案されたRPU手法は、直接的位相推定（STOI: 0.72, PESQ: 1.74）およびIFのみの再構成（STOI: 0.75, PESQ: 1.85）よりも高いSTOI（0.77）およびPESQ（1.98）スコアを達成した。
• 直接的位相DNNをテストセットで再訓練した場合（Ph test）でも、STOIおよびPESQの両方において提案手法を下回り、RPUのロバスト性を裏付けた。
• 片側t検定では、STOIおよびPESQの両指標においてp < 0.01の有意差が得られ、提案手法の優位性が統計的に支持された。
• 音声サンプルの結果から、提案手法はベースラインと比較して、より自然な音声を生成し、アーティファクトが少ないことが示された。