[論文レビュー] Image to Image Translation based on Convolutional Neural Network Approach for Speech Declipping

Hamidreza Baradaran Kashani, Ata Jodeiri+2 more|arXiv (Cornell University)|Oct 26, 2019

Speech and Audio Processing参考文献 23被引用数 5

ひとこと要約

本論文では、クリッピングされた音声のマグニチュードスペクトログラムを画像として扱い、画像対画像翻訳を用いてクリアな音声スペクトログラムに変換することで、U-Netに基づく畳み込みニューラルネットワークを提案する。この手法は、特に重度のクリッピングおよびノイズ環境下でも、従来の手法を上回る音声品質および聞き取りやすさを達成する。

ABSTRACT

Clipping, as a current nonlinear distortion, often occurs due to the limited dynamic range of audio recorders. It degrades the speech quality and intelligibility and adversely affects the performances of speech and speaker recognitions. In this paper, we focus on enhancement of clipped speech by using a fully convolutional neural network as U-Net. Motivated by the idea of image-to-image translation, we propose a declipping approach, namely U-Net declipper in which the magnitude spectrum images of clipped signals are translated to the corresponding images of clean ones. The experimental results show that the proposed approach outperforms other declipping methods in terms of both quality and intelligibility measures, especially in severe clipping cases. Moreover, the superior performance of the U-Net declipper over the well-known declipping methods is verified in additive Gaussian noise conditions.

研究の動機と目的

• オーディオレコーダーの動的範囲が制限されることによる音声品質および聞き取りやすさの低下を是正すること。
• クリッピングされた音声信号を効果的に復元する深層学習ベースの手法を開発すること。
• コンピュータビジョン分野における画像対画像翻訳の成功を、音声強調タスクに応用すること。
• 特に重度のクリッピング条件下において、クリアな環境およびノイズ環境の両方で性能を向上させること。

提案手法

• クリッピングされた音声スペクトログラムからクリアな音声スペクトログラムへのエンドツーエンドマッピングを学習するために、完全畳み込み型のU-Netアーキテクチャを採用する。
• クリッピング音声のマグニチュードスペクトログラムを入力画像とし、再構築されたクリアなスペクトログラムを出力画像とする。
• 構造的詳細を保持し、再構成誤差を最小限に抑えるために、敵対的損失とL1損失の組み合わせを用いてネットワークを訓練する。
• バックプロパゲーションを用い、Adam最適化法と学習率スケジューリングを用いてモデルを最適化する。
• 実世界のクリッピング音声データ（クリッピングの深刻度が異なるもの）を用いて、モデルを訓練および評価する。
• 追加のガウスノイズ環境下でも、本手法は頑健であることが、ノイズ環境下でのテストで検証された。

実験結果

リサーチクエスチョン

• RQ1 U-Netアーキテクチャを用いた画像対画像翻訳は、クリッピング音声信号を効果的に復元できるか？
• RQ2 提案手法の音声品質および聞き取りやすさは、従来の手法と比較してどのように異なるか？
• RQ3 追加のノイズが存在する状況下でも、本手法は性能を維持できるか？
• RQ4 異なるクリッピングレベルおよび音声コンテンツにわたって、モデルは一般化できるか？

主な発見

• U-Netデクリッパーは、客観的品質指標（例：PESQ、STOI）および聞き取りやすさ指標において、従来のデクリッピング手法を上回る。
• 従来手法が失敗する重度のクリッピング状況において、顕著な改善が見られた。
• ガウスノイズ環境下でも、U-Netデクリッパーはベースライン手法に比べて優れた性能を維持した。
• 敵対的損失とL1損失の組み合わせにより、より高い知覚的品質とより良いスペクトル再構成が達成された。
• 多様な音声信号およびクリッピングレベルにわたって、モデルは良好な一般化性能を示し、頑健性を示した。
• 本手法は、発表当時、最先端の結果を達成しており、ETECH 2019会議で検証された。