[論文レビュー] WEnets: A Convolutional Framework for Evaluating Audio Waveforms

Andrew Catellier, Stephen Voran|arXiv (Cornell University)|Sep 19, 2019

Speech and Audio Processing参考文献 21被引用数 10

ひとこと要約

WEnetsは、参照信号を必要とせず、生の音声波形を直接処理して音声品質および聞き取りやすさを予測する、新しい畳み込みニューラルネットワークフレームワークである。NAWEnetはWEnetsの特殊化されたバージョンであり、訓練データの50%のみを用いてもPESQ、POLQA、STOIと0.91以上の高い相関（ρseg > 0.91）を達成し、従来の非参照手法に比べて優れた性能を示しており、波形からエンドツーエンドで最適な特徴を学習している。

ABSTRACT

We describe a new convolutional framework for waveform evaluation, WEnets, and build a Narrowband Audio Waveform Evaluation Network, or NAWEnet, using this framework. NAWEnet is single-ended (or no-reference) and was trained three separate times in order to emulate PESQ, POLQA, or STOI with testing correlations 0.95, 0.92, and 0.95, respectively when training on only 50% of available data and testing on 40%. Stacks of 1-D convolutional layers and non-linear downsampling learn which features are important for quality or intelligibility estimation. This straightforward architecture simplifies the interpretation of its inner workings and paves the way for future investigations into higher sample rates and accurate no-reference subjective speech quality predictions.

研究の動機と目的

• 手作業で設計された特徴に依存せずに、生の波形を直接処理できる柔軟なディープラーニングフレームワークWEnetsの開発。
• 生の波形を用いて、非参照（シングルエンド）の狭帯域音声品質および聞き取りやすさの予測を可能にする。
• 最小限の訓練データで、確立されたフルリファレンス指標（PESQ、POLQA、STOI）と高い相関を達成すること。
• 波形から関連する特徴をエンドツーエンドで学習するシンプルなアーキテクチャにより、モデルの解釈性を簡素化すること。
• フレームワークをより高いサンプリングレートおよび音声アプリケーションの範囲、音楽や広帯域音声を含む分野へ拡張すること。

提案手法

• 1次元畳み込みニューラルネットワークフレームワークWEnetsを設計し、ReLUまたはPReLU活性化関数を用いた畳み込みブロックをスタックし、非線形的なダウンサンプリングを実装する。
• 最初の層で平均プーリングを用い、生の波形をダウンサンプリングする。音声信号に対しては、最大プーリングよりもロバスト性を重視する。
• NAWEnet（WEnetsの狭帯域バージョン）をエンドツーエンドで生の波形上で訓練し、PESQ、POLQA、STOIスコアを予測する。
• フィルタの深さを増加させ、空間的ダウンサンプリングを段階的に実行する多段階アーキテクチャを採用し、波形から階層的特徴を抽出する。
• フィルタ長（最初の層でfₗ = 11）、フィルタ数（fₙ）、ダウンサンプリングレート（dₒ）などのハイパーパrameterを最適化し、PReLUがリークリReLUを上回る性能を示す。
• 訓練コーパスとして133.5時間、テストとして106.8時間のデータを用い、ソースデータセット間で慎重にデータ分割を実施し、汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 生の波形に直接トレーニングされたディープ畳み込みネットワークは、確立されたフルリファレンス音声品質および聞き取りやすさ指標と高い相関を達成できるか？
• RQ2 スペクトログ램やメルケプストラム係数のような手作業で設計された特徴に依存する従来手法と比較して、波形からエンドツーエンドで特徴を学習する方法はどのように異なるか？
• RQ3 1つのネットワークアーキテクチャが、未確認の話者や低発話活動を含む多様な音声状態にどの程度一般化できるか？
• RQ4 活性化関数の選択（例：PReLU対ReLU）が、波形評価タスクのパフォーマンスに顕著な影響を与えるか？
• RQ5 このフレームワークは、より高いサンプリングレートや音楽や広帯域音声などの他の音声モダリティへ拡張可能か？

主な発見

• NAWEnetは、利用可能なデータの50%の訓練データでトレーニングし、40%のテストデータで評価した場合、PESQ、POLQA、STOIとそれぞれρseg > 0.91の高い相関を達成する。
• モデルはPESQでρseg = 0.95、POLQAでρseg = 0.92、STOIでρseg = 0.95を達成し、同じベンチマークで他の非参照手法を上回る性能を示す。
• 十分な訓練データ（例：訓練データの15%）にこのような状況が含まれている場合、未確認の話者や低活動音声に対しても良好に一般化する。
• 各層で学習可能なパラメータを持つPReLUの使用は、標準ReLUやリークリReLUよりもパフォーマンスを向上させ、特に初期層で顕著である。
• 最初の層で平均プーリングを用いることで、最大プーリングを上回る性能を示す。これは、波形表現においてすべての音声サンプルが同等に重要であるためと考えられる。
• データセット8（フレームの欠落あり）では、データセット7よりも性能が向上しており、これはデータ量が多い（訓練データの46%）ためであり、データ量の増加がロバスト性を向上させる可能性を示唆している。