[論文レビュー] Exploring Multimodal Approaches for Alzheimer's Disease Detection Using Patient Speech Transcript and Audio Data

Hongmin Cai, Xiaoke Huang+9 more|arXiv (Cornell University)|Jul 5, 2023

Mental Health via Writing被引用数 7

ひとこと要約

本研究では、患者の会話トランスクリプトと音声を用いた、アルツハイマー病（AD）検出のためのマルチモーダルフレームワークを提案する。BERT、グラフニューラルネットワーク（GNN）、WavLMを用いた特徴抽出手法を採用し、TTS音声と生音声の間の類似性を高めるCLIPPOに類似した対照的学習手法を導入。DementiaBank Pittデータセットにおいて84.84%の最高精度を達成し、単モーダルおよび標準的なマルチモーダル統合手法を上回った。

ABSTRACT

Alzheimer's disease (AD) is a common form of dementia that severely impacts patient health. As AD impairs the patient's language understanding and expression ability, the speech of AD patients can serve as an indicator of this disease. This study investigates various methods for detecting AD using patients' speech and transcripts data from the DementiaBank Pitt database. The proposed approach involves pre-trained language models and Graph Neural Network (GNN) that constructs a graph from the speech transcript, and extracts features using GNN for AD detection. Data augmentation techniques, including synonym replacement, GPT-based augmenter, and so on, were used to address the small dataset size. Audio data was also introduced, and WavLM model was used to extract audio features. These features were then fused with text features using various methods. Finally, a contrastive learning approach was attempted by converting speech transcripts back to audio and using it for contrastive learning with the original audio. We conducted intensive experiments and analysis on the above methods. Our findings shed light on the challenges and potential solutions in AD detection using speech and audio data.

研究の動機と目的

• 患者の会話とトランスクリプトを用いた、低コストで非侵襲的な早期アルツハイマー病（AD）検出のための診断手法の開発。
• AD研究における小規模データセットの課題を、効果的なデータ拡張技術を用いて解決すること。
• テキストおよび音声特徴のマルチモーダル統合を検討し、AD分類性能の向上を図ること。
• TTSで生成された音声を用いた対照的学習が、AD患者の会話パターン理解を向上させることの有効性を調査すること。
• 多様な患者データを用いた将来的なマルチモーダルAD検出システムの基盤を提供すること。

提案手法

• BERT埋め込みとグラフ畳み込みネットワークを用いて、会話トランスクリプトから構造的言語的特徴を抽出するGNNベースの手法（AD-GNN）を開発した。
• トレーニングデータの多様性を高め、クラス不均衡を緩和するために、同義語置換、文の削除、GPT-3.5を用いた生成といったデータ拡張技術を適用した。
• 音声特徴は、自己教師あり事前学習済み音声表現モデルであるWavLMを用いて抽出した。
• 直接連結、クロスネットワークアテンション、および生音声とTTSで生成された音声を対応付けるCLIPPOに類似した対照的学習フレームワークを用いたマルチモーダル統合を実施した。
• CLIPPOに類似した手法により、生音声と合成音声の間で共同埋め込み学習が可能となり、事前学習済み言語モデルに依存せずに意味的整合性を向上させた。
• DementiaBank Pittデータセットを用いて、単モーダル（テキスト、音声）およびさまざまな統合戦略を用いたマルチモーダル手法の比較を含む、広範な実験を実施した。

Figure 1 : Basic framework of our four methods.

実験結果

リサーチクエスチョン

• RQ1 会話トランスクリプトから得られるグラフ構造的言語的特徴は、標準的なNLPモデルと比較してAD検出精度を向上させることができるか？
• RQ2 さまざまなデータ拡張技術は、小規模なADデータセットにおけるモデルの一般化性能を向上させるのにどの程度有効か？
• RQ3 テキストと音声特徴のマルチモーダル統合は、AD検出性能を顕著に向上させるか？
• RQ4 生音声とTTSで生成された音声の間で対照的学習を実施することで、AD検出のための表現学習が向上するか？
• RQ5 マルチモーダル統合による性能向上は、主に強力なモダリティ（テキスト）に起因しているのか、それとも音声が有意義に寄与しているのか？

主な発見

• テキスト単体のモデルが84.60%の最高精度を達成し、音声単体のモデル（77.14%）を顕著に上回った。これは、言語的特徴がAD検出においてより判別能が高いことを示している。
• CLIPPOに類似した対照的学習手法が、全体として84.84%の最高精度を達成した。これは、TTS音声と生音声の間の対応付けが、事前学習済み言語モデルに依存せずにモデル性能を向上させることを示している。
• 直接連結によるマルチモーダル統合（84.75%）とクロスネットワークアテンション（84.18%）の結果は、テキスト単体のベースラインとほぼ同等であり、モデルが強いテキストモダリティに過剰に依存している可能性を示唆している。
• GPT-3.5およびRoBERTaベースの拡張器を用いたデータ拡張手法は、意味的保存性の低さやAD患者の話し方と不一致のため、限定的な改善にとどまった。
• WavLMモデルの音声特徴抽出性能は最適ではなかった。これは、AD患者の会話に特化した事前学習が行われていない可能性を示しており、ドメイン特化型音声表現学習の必要性を強調している。
• 本研究は、音声データが有用な情報を含んでいるものの、次元の高さと背景ノイズの影響により性能が制限されること、また、効果的な統合には慎重なアーキテクチャ設計が必要であることを確認した。

Figure 2 : The framework of AD-GNN.