[論文レビュー] Alzheimer's Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs

Morteza Rohanian, Julian Hough+1 more|arXiv (Cornell University)|Jun 29, 2021

Speech Recognition and Synthesis被引用数 10

ひとこと要約

本論文は、ASRで変換された発話、音声特徴、不順応マーカー、一時停止情報、語彙の確率を統合するマルチモーダル深層学習手法を提案し、アルツハイマー病性 dementia の検出と MMSE スコアの予測を実現する。最高の BiLSTM モデル（ハイウェイ層を備える）は、84% の精度と MMSE 再構成で 4.26 の RMSE を達成し、ゲーティングを用いたマルチモーダル統合がノイズの多い入力に対して著しく耐性を示し、単一モダリティのモデルよりも診断性能が向上することを示している。

ABSTRACT

We present two multimodal fusion-based deep learning models that consume ASR transcribed speech and acoustic data simultaneously to classify whether a speaker in a structured diagnostic task has Alzheimer's Disease and to what degree, evaluating the ADReSSo challenge 2021 data. Our best model, a BiLSTM with highway layers using words, word probabilities, disfluency features, pause information, and a variety of acoustic features, achieves an accuracy of 84% and RSME error prediction of 4.26 on MMSE cognitive scores. While predicting cognitive decline is more challenging, our models show improvement using the multimodal approach and word probabilities, disfluency and pause information over word-only models. We show considerable gains for AD classification using multimodal fusion and gating, which can effectively deal with noisy inputs from acoustic features and ASR hypotheses.

研究の動機と目的

• 発話のトランスクリプトと音声特徴を用いて、アルツハイマー病性 dementia の認識を目的とした、強固なマルチモーダル深層学習システムの開発。
• ASR の出力から得られる不順応、一時停止、語彙の確率特徴の貢献を、認知機能低下の検出において評価すること。
• ASR の仮説が不完全な状況でも、ノイズの多い入力条件下で AD 分類および MMSE 再構成タスクの性能を向上させること。
• ゲーティング機構を用いたマルチモーダル統合が、単一モダリティのモデルと比較して耐性および予測精度を向上させるかどうかを検証すること。
• 構造化された診断インタビューからの音声データのみを用いて、早期認知障害および疾患進行を効果的に検出できるかどうかを評価すること。

提案手法

• BiLSTM にハイウェイ層を備えたモデルが、ASR の出力と生の音声から得られる語、語彙の確率、不順応マーカー、一時停止特徴、音声特徴（例：発話速度、一時停止割合、発声時間）の系列を処理する。
• 学習可能なゲーティング機構を備えたマルチモーダル統合戦略が、テクスト的および音声的モダリティの寄与を動的に重み付けし、ノイズの多い入力に対する耐性を向上させる。
• ASR システムからの語彙の確率を、語彙の予測可能性および文法的整合性の代理指標として用い、意味的および構文的障害の検出を強化する。
• 不順応マーカー（例：埋め込み一時停止、埋め込みなしの一時停止）は ASR トランスクリプトから抽出され、初期 AD で一般的な発話のためらいを捉える。
• モデルは、2 つの ADReSSo 2021 タスク（二値 AD 分類および MMSE スコア再構成）に対して、エンド・ツー・エンドで訓練され、認知機能低下予測の追加評価も実施される。
• テキストのみのモデリングのベースラインとして BERT が用いられ、単一モダリティとマルチモーダルの設定を比較することで、統合の利点を評価する。

実験結果

リサーチクエスチョン

• RQ1 ASR トランスクリプトから抽出された不順応および一時停止特徴は、アルツハイマー病性 dementia の分類および MMSE スコア予測を改善できるか？
• RQ2 ノイズの多いトランスクリプション環境下でも、ASR 出力からの語彙の確率は認知機能低下の検出にどのように寄与するか？
• RQ3 実世界のノイズの多い入力シナリオにおいて、ゲーティング機構を用いたマルチモーダル統合は、単一モダリティのモデルを上回る性能を示すか？
• RQ4 ASR 出力からのテクスト的および言語的特徴と組み合わせた場合、音声特徴は性能向上にどの程度寄与するか？
• RQ5 構造化された診断インタビューの音声データのみを用いてトレーニングされたマルチモーダルモデルは、2 年間の認知機能低下進行を効果的に予測できるか？

主な発見

• 語、語彙の確率、不順応、一時停止、音声特徴を統合した最良のモデル（ハイウェイ層付き BiLSTM）は、アルツハイマー病性 dementia の分類で 84% の精度を達成した。
• MMSE スコア再構成では 4.26 の RMSE を達成し、他のすべての構成よりも優れており、強力な再構成性能を示した。
• ゲーティング機構を用いたマルチモーダル統合は性能を著しく向上させ、最良の単一モダリティモデル（RMSE 5.31）と比較して RMSE を 1.15 点低減した（4.26 対 5.31）。
• 語彙の確率を語彙的特徴に追加することで、交差検証におけるテスト精度は 0.76 から 0.77 に向上し、RMSE は 5.31 から 4.78 に低下した。
• 認知機能低下進行タスクにおいて、ゲーティング付きマルチモーダル LSTM は他のすべてのモデルを上回り、テスト F1 スコア 0.62 を達成し、最良のベースライン（0.67）に近く、優れた性能を示した。
• マルチモーダル統合の利点にもかかわらず、BERT を用いたモデルはテキストのみの分類で LSTM を上回った（ACC 0.80 対 0.81）、これは、この文脈では BERT が純粋なテキストモデリングにおいてより効果的である可能性を示唆している。