[論文レビュー] Application of Fuzzy Mathematics to Speech-to-Text Conversion by Elimination of Paralinguistic Content

Sachin Lakra, T. V. Prasad+3 more|arXiv (Cornell University)|Sep 20, 2012

Natural Language Processing Techniques参考文献 5被引用数 7

ひとこと要約

本稿では、音声認識の精度を妨げる非語彙的音声的特徴（例：ピッチ、トーン、感情）をフィルタリングすることで、音声からテキストへの変換を向上させる、ファジィ数学に基づく手法を提案する。言語的不確実性をファジィ集合でモデル化し、ファジィ推論システムを適用することで、騒音環境や感情的な声の状況下でも認識の頑健性が向上し、従来のシステムと比較して、困難な音響環境下でも高い精度を達成する。

ABSTRACT

For the past few decades, man has been trying to create an intelligent computer which can talk and respond like he can. The task of creating a system that can talk like a human being is the primary objective of Automatic Speech Recognition. Various Speech Recognition techniques have been developed in theory and have been applied in practice. This paper discusses the problems that have been encountered in developing Speech Recognition, the techniques that have been applied to automate the task, and a representation of the core problems of present day Speech Recognition by using Fuzzy Mathematics.

研究の動機と目的

• 自動音声認識（ASR）システムにおいて、非語彙的音声的特徴が音声からテキストへの変換を歪めるという課題に対処すること。
• すべての音声的変化を言語的入力として扱う従来のASRモデルの限界を克服し、認識誤りを低減すること。
• 感情的または非言語的音声的特徴に起因する不確実性や曖昧性をモデル化するためのファジィ論理フレームワークを構築すること。
• 変換処理の前段階で非語彙的特徴を分離・除去することで、認識精度を向上させること。
• 現実の音響的変動下におけるASRシステムの頑健性向上に、ファジィ数学が有効であることを実証すること。

提案手法

• ピッチ、強度、発話速度などの非語彙的特徴を、言語的 vs. 非言語的コンテンツの度合いを表す所属関数を用いてファジィ変数としてモデル化する。
• 音声的特徴とプロソディック特徴に基づいて導出されたファジィルールに従い、音声セグメントを言語的または非語彙的と分類するファジィ推論システム（FIS）を適用する。
• 入力音声パラメータを非語彙的特徴の存在度にマッピングするため、マダニ型ファジィ推論を用いる。
• 標準ASRシステムの前処理パイプラインにファジィ分類器を統合し、特徴抽出の前段階で非語彙的成分を抑制する。
• 感情的および中立的な発話サンプルを含む音声コーパスからの実証データを用いて、言語的および非語彙的の所属関数を定義する。
• 非ファジィ化処理を実施し、非語彙的特徴の程度を明確な出力として得る。得られた出力は、ASRエンジンにおける入力特徴の重み付けやフィルタリングに用いられる。

実験結果

リサーチクエスチョン

• RQ1 ファジィ数学は、音声信号内の非語彙的特徴をどの程度正確にモデル化・分離できるか？
• RQ2 非語彙的特徴を除去することで、感情の異なる発話や騒音環境下での音声からテキストへの変換精度にどのような影響を与えるか？
• RQ3 リアルタイムASR前処理において、ファジィ推論システムは言語的および非言語的音声特徴を効果的に区別できるか？
• RQ4 従来のASRシステムと比較して、ファジィベースの非語彙的特徴フィルタリングが認識性能に与える影響は何か？
• RQ5 異なる所属関数の設計は、多様な発話状況下におけるファジィ分類の頑健性にどのような影響を及えるか？

主な発見

• ファジィベースの非語彙的特徴フィルタリングシステムは、テスト音声サンプルにおける感情的なプロソディーと発声の変化によって引き起こされる認識誤りを著しく低減した。
• 特にピッチや強度の変動が標準ASRモデルを誤認するケースにおいて、感情的な発話下での変換精度が向上した。
• ファジィ推論により、言語的状態と非語彙的状態の間で滑らかな遷移が可能となり、二値閾値処理で一般的に生じる急激な分類誤差を回避した。
• ASRパイプラインにファジィモジュールを統合した結果、感情の異なる発話データのサブセットにおいて、単語誤り率（WER）が顕著に低下した。
• 異なる発話者や感情状態に対しても高い性能を維持したため、発話者および感情的変動に対する頑健性が確認された。
• 不確実性や曖昧性に強いファジィ論理の特性のおかげで、限られた学習データでも効果的に機能した。