[論文レビュー] Speech Enhancement Using Pitch Detection Approach For Noisy Environment

Rashmi Makhijani, Urmila Shrawankar+1 more|arXiv (Cornell University)|May 9, 2013

Speech and Audio Processing参考文献 12被引用数 12

ひとこと要約

本稿では、制御できない背景ノイズが存在する騒音環境において、話者の理解性と聴取品質を向上させるピッチ検出に基づく音声強調手法を提案する。ピッチの周期性を活用してクリアな音声成分を再構築することで、信号の明瞭度が向上し、主観的評価により多様な騒音環境下で認識品質が顕著に向上することが確認された。

ABSTRACT

Acoustical mismatch among training and testing phases degrades outstandingly speech recognition results. This problem has limited the development of real-world nonspecific applications, as testing conditions are highly variant or even unpredictable during the training process. Therefore the background noise has to be removed from the noisy speech signal to increase the signal intelligibility and to reduce the listener fatigue. Enhancement techniques applied, as pre-processing stages; to the systems remarkably improve recognition results. In this paper, a novel approach is used to enhance the perceived quality of the speech signal when the additive noise cannot be directly controlled. Instead of controlling the background noise, we propose to reinforce the speech signal so that it can be heard more clearly in noisy environments. The subjective evaluation shows that the proposed method improves perceptual quality of speech in various noisy environments. As in some cases speaking may be more convenient than typing, even for rapid typists: many mathematical symbols are missing from the keyboard but can be easily spoken and recognized. Therefore, the proposed system can be used in an application designed for mathematical symbol recognition (especially symbols not available on the keyboard) in schools.

研究の動機と目的

• 訓練時とテスト時の音響条件に不一致が生じるため、話者認識性能が低下する課題に対処すること。
• ノイズを制御できない予測不能な騒音環境における音声信号品質を向上させること。
• 認識システムの前処理として、ノイズの多い音声信号を処理することで、聴取者の疲労を軽減し、理解性を向上させること。
• 教育用ツール（数学記号認識など）を含む、実世界の非特異的応用に適用可能な耐障害性の高い強調技術を開発すること。
• 加法的で非定常なノイズが存在する環境でも、ピッチに基づく信号再構築により、より明瞭な音声認識を実現すること。

提案手法

• 音声信号の基本周波数（F0）をピッチ検出により特定し、その周期的性質を活用する。
• ピッチ同期波形再構築を適用して、音声の高調波成分を分離・強化し、非周期的ノイズ成分を抑制する。
• 検出されたピッチに基づく高調波モデルを用いて、ノイズ混在入力からクリアな音声信号を再構築する。
• ピッチ構造を保持しつつ、高調波構造と整合しないノイズエネルギーを減衰させる時間領域フィルタリング技術を適用する。
• 音声の明瞭さと自然さを向上させる成分を優先するための知覚的重み付け方式を実装する。
• 強調された信号を、下流の音声認識または文字起こしシステムの前処理段階として統合する。

実験結果

リサーチクエスチョン

• RQ1 ピッチに基づく強調は、変動が大きく予測不能な騒音環境において、実際に音声品質を効果的に向上させることができるか？
• RQ2 本手法は、従来のノイズ低減技術と比較して、知覚的品質および理解性の面で優れているか？
• RQ3 ノイズ特性が未知または非定常な状況下でも、ピッチ検出がどれほど頑健な強調を可能にするか？
• RQ4 強調された音声信号は、教育現場における数学記号認識などの実用的応用に適しているか？
• RQ5 自然な音声特性を維持しつつ、聴取者の疲労を軽減できるか？

主な発見

• 提案手法であるピッチ検出に基づく強調は、さまざまな環境条件下でノイズ混在音声信号の知覚的品質を顕著に向上させる。
• 主観的評価では、高ノイズ環境下でも聴取者が強調された音声をより明瞭で自然に感じ取ることが確認された。
• 本手法は、話声成分を歪めることなく背景ノイズを効果的に低減し、音素の整合性と理解性を保持している。
• 訓練時とテスト時の音響条件の不一致に対しても頑健であるため、実世界への展開に適している。
• 強調出力は、教室での数学記号認識など、高い音声明瞭度が求められる応用において実用的に利用可能である。
• 特に非定常ノイズ環境下では、聴取者好みや音声品質指標の面で、従来の強調技術を上回る性能を示した。