[論文レビュー] Alzheimers Dementia Detection using Acoustic & Linguistic features and Pre-Trained BERT.

Akshay Valsaraj, Ithihas Madala+2 more|arXiv (Cornell University)|Sep 22, 2021

Speech Recognition and Synthesis参考文献 19被引用数 6

ひとこと要約

本研究では、会話データを用いたアルツハイマー病性 dementia の検出のための3つのモデルを提案する。1つは eGeMAPs 音響特徴に基づくもの、もう1つは自動音声認識（ASR）出力のテキストから抽出した独自の言語的特徴に基づくもの、そして3つ目は微調整された BERT と TF-IDF を組み合わせたものである。BERT+TF-IDF モデルが 76.06% のテスト正解率を達成し、音響的および言語的モデルを上回り、自発的会話からの早期 AD 検出における事前学習済み言語モデルの有効性を示している。

ABSTRACT

Alzheimers disease is a fatal progressive brain disorder that worsens with time. It is high time we have inexpensive and quick clinical diagnostic techniques for early detection and care. In previous studies, various Machine Learning techniques and Pre-trained Deep Learning models have been used in conjunction with the extraction of various acoustic and linguistic features. Our study focuses on three models for the classification task in the ADReSS (The Alzheimers Dementia Recognition through Spontaneous Speech) 2021 Challenge. We use the well-balanced dataset provided by the ADReSS Challenge for training and validating our models. Model 1 uses various acoustic features from the eGeMAPs feature-set, Model 2 uses various linguistic features that we generated from auto-generated transcripts and Model 3 uses the auto-generated transcripts directly to extract features using a Pre-trained BERT and TF-IDF. These models are described in detail in the models section.

研究の動機と目的

• 自発的会話から、低コストで非侵襲的な早期アルツハイマー病性 dementia 検出のための診断ツールを開発すること。
• 音響的、言語的、および深層文脈的 NLP 特徴が、対照群と比較して AD を分類する有効性を評価すること。
• ADReSS 2021 チャレンジデータセット上で、従来の機械学習モデルと事前学習済み BERT ベースのアプローチを比較すること。
• 将来の音響モデリングのため、ビジョントランスフォーマー（Vision Transformers）と sPCEN 正規化スペクトログラムの可能性を検討すること。

提案手法

• モデル1では、被験者の会話録音から eGeMAPs 音響特徴を抽出した。
• モデル2では、自動音声認識（ASR）出力のテキストから、ブルネー指数、エントロピー、タイプ・トークン比といった言語的特徴を生成した。
• モデル3では、会話のテキストを微調整済み BERT モデルに投入し、文脈的埋め込みを取得した。これに TF-IDF 特徴を連結した。
• BERT 埋め込みと TF-IDF ベクトルを以下の式で結合した：tfidft,d = tft,d · log(N/dft)，ここで tft,d は語句頻度、dft は文書頻度を表す。
• すべての3つのモデルに対して、5分割交差検証とテストセット評価を用いて、複数の分類器（SVM、LR、RF）を訓練および評価した。
• 将来の課題として、sPCEN 正規化スペクトログラムと組み合わせたビジョントランスフォーマー（ViT）の適用と、音響的および BERT ベースのモデルのアンサンブル学習の検討を提案した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み BERT モデルは、自発的会話のテキストからアルツハイマー病性 dementia の言語的兆候を効果的に捉えることができるか？
• RQ2 従来の音響特徴（eGeMAPs）は、言語的および深層文脈的特徴と比較して、AD の分類においてどのように性能を示すか？
• RQ3 BERT 埋め込みと TF-IDF を組み合わせることで、個々の特徴集合よりも分類性能が向上するか？
• RQ4 sPCEN 正規化スペクトログラムと組み合わせたビジョントランスフォーマーは、既存のモデルを上回る性能を示すことができるか？

主な発見

• BERT 埋め込みと TF-IDF 特徴を組み合わせたモデル3が、76.06% の最高テスト正解率を達成し、モデル1（59.5%）およびモデル2（57.75%）を顕著に上回った。
• BERT+TF-IDF モデルはテスト F1 スコア 0.7671 を達成し、精度と再現率のバランスが良好であることを示した。
• 5分割交差検証では、モデル3が 70.0% の正解率と F1 スコア 0.717 を達成し、各foldで一貫した一般化性能を示した。
• 言語的モデル（モデル2）は高い精度（0.867）を示したが、再現率は低く（0.464）なっており、陽性の AD 個体を多く見逃す傾向があることがわかった。
• 音響的モデル（モデル1）は最低の性能を示し、テスト正解率はわずか 59.5%、特異度は 52.2% にとどまり、このデータセットでは判別力に乏しいことが示された。
• 理論的には有望であるが、スペクトログラムにビジョントランスフォーマーを適用した実装は満足のいく結果を示さなかったため、将来は最適化されたパッチ分割と sPCEN 正規化を用いた、再びから学習し直すことを提案した。