[論文レビュー] STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model

Ryandhimas E. Zezario, Szu‐Wei Fu+3 more|arXiv (Cornell University)|Nov 9, 2020

Speech and Audio Processing参考文献 28被引用数 15

ひとこと要約

STOI-Net は、CNN-BLSTM アーキテクチャに乗法的アテンション機構を組み込んだ深層学習ベースの非侵襲的音声理解度評価モデルであり、クリアな音声リファレンスを必要とせず、劣化音声のスペクトル特徴から直接 STOI スコアを予測する。ノイズ混じりや強調処理を施した音声の状況においても、実際の STOI スコアと高い相関（確認済み条件下で 0.97、未確認条件下で 0.83）を示し、優れた一般化性能を示している。

ABSTRACT

The calculation of most objective speech intelligibility assessment metrics requires clean speech as a reference. Such a requirement may limit the applicability of these metrics in real-world scenarios. To overcome this limitation, we propose a deep learning-based non-intrusive speech intelligibility assessment model, namely STOI-Net. The input and output of STOI-Net are speech spectral features and predicted STOI scores, respectively. The model is formed by the combination of a convolutional neural network and bidirectional long short-term memory (CNN-BLSTM) architecture with a multiplicative attention mechanism. Experimental results show that the STOI score estimated by STOI-Net has a good correlation with the actual STOI score when tested with noisy and enhanced speech utterances. The correlation values are 0.97 and 0.83, respectively, for the seen test condition (the test speakers and noise types are involved in the training set) and the unseen test condition (the test speakers and noise types are not involved in the training set). The results confirm the capability of STOI-Net to accurately predict the STOI scores without referring to clean speech.

研究の動機と目的

• クリアな音声をリファレンスとしない非侵襲的音声理解度評価モデルの開発を目的とする。
• STOI 計算にクリアな音声が必要な従来の目的的指標の限界を解消することを目的とする。
• 劣化またはノイズ混じりの音声が存在するリアルワールドの状況において、音声理解度評価の適用可能性を向上させることを目的とする。
• スペクトル特徴からだけ学習することで、音声劣化の強力な表現を深層学習で学習することを目的とする。
• 多様なテスト条件下で予測された STOI スコアと実際の STOI スコアの間の相関を高めることを目的とする。

提案手法

• モデルは音声スペクトル特徴を入力とし、出力として STOI スコアを予測する。
• 入力スペクトログラムからの階層的な時間的・周波数的パターンを抽出するために、CNN-BLSTM アーキテクチャを採用する。
• スペクトログラム内の関連のある時間周波数領域に注目するため、乗法的アテンション機構を統合する。
• 予測された STOI スコアと正解の STOI スコアの間の平均二乗誤差損失を用いて、エンド・ツー・エンドでネットワークを訓練する。
• クリアなリファレンス信号にアクセスしない状況でも、複雑な劣化パターンを学習できるようにアーキテクチャを設計する。
• 異なる話者やノイズタイプを含む、確認済みおよび未確認のテスト条件でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 クリアな音声をリファレンスとしない深層学習モデルが、STOI スコアを正確に予測できるか？
• RQ2 リアルワールドの状況において、未確認の話者やノイズタイプに対しても、モデルの一般化性能はどの程度高いか？
• RQ3 スペクトル特徴からだけの入力において、CNN-BLSTM とアテンション機構の組み合わせが音声理解度予測にどの程度有効か？
• RQ4 従来の侵襲的指標と比較して、非侵襲的状況下でのモデルの性能はいかがなっているか？
• RQ5 劣化音声状況において、アテンション機構が予測精度をどの程度向上させるか？

主な発見

• STOI-Net モデルは、トレーニングセットに含まれる話者およびノイズタイプがすべて確認済みテスト条件下で、実際の STOI スコアと 0.97 の相関を達成した。
• より挑戦的な未確認テスト条件下では、依然として高い相関 0.83 を維持し、優れた一般化能力を示した。
• クリアな音声にアクセスしない状況でも STOI スコアを正しく予測できたため、非侵襲的性質が確認された。
• 乗法的アテンション機構の統合により、関連のあるスペクトル的・時間的特徴に注目する能力が向上した。
• 深層ニューラルネットワークが、スペクトログラムから直接理解度関連の劣化パターンを効果的に学習できることを確認した。
• クリアなリファレンス信号の必要性を排除することで、従来の侵襲的指標よりも非侵襲的状況下で優れた性能を発揮した。