[論文レビュー] Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts

Matthew Perez, Zakaria Aldeneh+1 more|arXiv (Cornell University)|Aug 24, 2020

Speech Recognition and Synthesis参考文献 30被引用数 14

ひとこと要約

本稿では、重症度別エキスパートを明示的に用いて話者の聞き取りやすさをモデル化することで、電話誤り率（PER）を向上させるMixture of Experts（MoE）音声認識モデルを提案する。テスト時に話者の重症度を推定する話者聞き取りやすさ検出器（SID）を用いてエキスパートの寄与を動的に重み付けすることで、特に重度の失語症において顕著な性能向上を達成し、一様なベースラインモデルを上回る。

ABSTRACT

Robust speech recognition is a key prerequisite for semantic feature extraction in automatic aphasic speech analysis. However, standard one-size-fits-all automatic speech recognition models perform poorly when applied to aphasic speech. One reason for this is the wide range of speech intelligibility due to different levels of severity (i.e., higher severity lends itself to less intelligible speech). To address this, we propose a novel acoustic model based on a mixture of experts (MoE), which handles the varying intelligibility stages present in aphasic speech by explicitly defining severity-based experts. At test time, the contribution of each expert is decided by estimating speech intelligibility with a speech intelligibility detector (SID). We show that our proposed approach significantly reduces phone error rates across all severity stages in aphasic speech compared to a baseline approach that does not incorporate severity information into the modeling process.

研究の動機と目的

• 失語症話者の音声認識（ASR）の耐障害性を向上させること。失語症話者は聞き取りにくく、話者間の変動が大きいことが課題である。
• 失語症話者のデータ不足と変動の問題に対処するため、音声の聞き取りやすさを音声モデル内で明示的にモデル化すること。
• 障害のある話者の認識において、従来の「一様なサイズのモデル」より、重症度に配慮したエキスパートモデルが優れているかどうかを検証すること。
• 低リソースな失語症話者環境におけるMoE性能に与えるデータ割り当て戦略（例：Solo + Neighbor）の影響を評価すること。
• 訓練可能な神経系SIDがMoEフレームワークにおけるエキスパート寄与をどのようにガイドするかの有効性を評価すること。

提案手法

• MoE音声モデルは、4つのエキスパートを備え、それぞれが特定の失語症割合（AQ）重症度クラス（健常、軽度、中程度、重度）に特化している。
• 話者聞き取りやすさ検出器（SID）は、fMLLRおよびxベクトル特徴量を用いて、フレームレベルまたは発話レベルで重症度クラスを予測するように学習される。
• テスト時にSIDのソフト確率（すなわち、注目メカニズムに類似したゲーティング）を用いて、エキスパートの寄与を動的に重み付けし、センオン後確率を統合する。
• 一般的な音声特徴を抽出する共通のトランク層を用意し、その後に重症度別エキスパートにルーティングされる。
• データ割り当て戦略には「Solo」（エキスパートが自クラスのデータのみで学習）と「Solo + Neighbor」（自クラスに加え、隣接する重症度クラスのデータも学習）があり、後者が一般化性能が向上した。
• SIDは話者レベルのAQスコアに基づき、判別的に学習され、混同行列を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 重症度別エキスパートを用いて話者の聞き取りやすさをモデル化することで、一様なサイズのASRモデルと比較して、失語症話者の電話認識性能が向上するか？
• RQ2 データ割り当て戦略の選択（例：Solo対Solo + Neighbor）が、低リソースな失語症話者環境におけるMoE性能に与える影響は？
• RQ3 フレームレベルまたは発話レベルで重症度を予測する訓練可能な神経系SIDは、オラクルSIDよりもMoE性能を向上させるか？
• RQ4 話者レベルのAQスコアの不完全さが、SIDおよびMoEシステムの有効性をどの程度制限するか？
• RQ5 神経系SIDはオラクルSIDを上回る性能を示すか？また、これはフレームレベルと話者レベルの聞き取りやすさの相関性にどのような示唆をもたらすか？

主な発見

• 訓練された神経系SID（SIDutt）を備えたMoEモデルは、ベースラインと比較して全体の電話誤り率（PER）を2.9%相対的に改善し、軽度、中程度、重度の失語症ではそれぞれ3.3%、2.0%、5.6%の改善を達成した。
• 「Solo + Neighbor」データ割り当て戦略は、「Solo」や「Solo + Healthy」と比較して顕著に優れており、隣接する重症度クラス間でのデータ共有がデータ不足を緩和していることが示された。
• SIDの性能が不完全（隣接する重症度クラスの間で混同するなど）であったにもかかわらず、依然としてベースラインを上回る性能向上を達成しており、ノイズの多い聞き取りやすさ推定値でもエキスパートルーティングに有効に機能することが示された。
• 神経系SIDを備えたMoEモデルは、オラクルSIDを用いた同じモデルよりも優れており、フレームレベルまたは発話レベルの聞き取りやすさが、話者レベルのAQスコアよりも情報量が多い可能性を示唆している。
• フレームレベルのSIDの混同行列から、SIDが隣接する重症度レベル間の聞き取りやすさトレンドを学習し、識別していることが明らかになったが、AQラベルの制限を考慮しても同様に有効であった。
• 結果として、MoEと訓練可能なSIDを用いた話者の聞き取りやすさの明示的モデル化により、全重症度レベルで安定した改善が得られ、特に重度の失語症において最大の性能向上が達成された。