[論文レビュー] Alzheimer's Disease Detection from Spontaneous Speech through Combining Linguistic Complexity and (Dis)Fluency Features with Pretrained Language Models

Yu Qiao, Xuefeng Yin+2 more|arXiv (Cornell University)|Jun 16, 2021

Topic Modeling参考文献 33被引用数 8

ひとこと要約

本論文は、言語的複雑さと（不）流暢さ特徴量を組み合わせた、スプontaneousな発話に基づくアルツハイマー病の検出のためのハイブリッド手法を提案する。微調整された BERT および ERNIE 言語モデルと、それらの特徴量を統合するスタッキングアンサンブルを用いることで、ADReSSo 2021 テストセットで 83.1% の精度を達成し、ベースラインより 4.23% 高かった。これは、解釈可能な言語的特徴量と深層文脈表現の補完的モデリングにより、より高いロバスト性と性能が得られることを示している。

ABSTRACT

In this paper, we combined linguistic complexity and (dis)fluency features with pretrained language models for the task of Alzheimer's disease detection of the 2021 ADReSSo (Alzheimer's Dementia Recognition through Spontaneous Speech) challenge. An accuracy of 83.1% was achieved on the test set, which amounts to an improvement of 4.23% over the baseline model. Our best-performing model that integrated component models using a stacking ensemble technique performed equally well on cross-validation and test data, indicating that it is robust against overfitting.

研究の動機と目的

• スプontaneousな発話からの自動アルツハイマー病検出を向上させるために、言語的複雑さと（不）流暢さ特徴量を事前学習された言語モデルと統合すること。
• 低データ環境における過学習を緩和するため、特にスタッキングを含むアンサンブル手法を活用して、多様な特徴群を統合すること。
• 解釈可能な言語的特徴量（複雑さ、流暢さ）が、BERT や ERNIE からの文脈的表現とどのように補完的であるかを評価すること。
• ADReSSo 2021 チャレンジのベースライン（言語的および音声的特徴量を統合）と比較して、性能をベンチマークすること。
• 白箱型の言語的特徴量がブラックボックス型のトランスフォーマー・モデルと同等の性能を達成できることを示すことで、医療分野における AI の解釈可能性を促進すること。

提案手法

• 本手法は、言語的複雑さ（例：語彙的多様性、構文的複雑さ）、（不）流暢さ指標（例：一時停止時間、頻度）および BERT や ERNIE からの文脈埋め込みの3種類の特徴量を統合する。
• 音声認識（AppTek のクラウド API）を用いて音声をテキストに変換し、強制同期を用いて一時停止時間と信頼度スコアを抽出した。
• 言語的複雑さと（不）流暢さ特徴量は発話単位で抽出され、分類器（例：ロジスティック回帰、CNN）の入力として使用された。
• 事前学習された言語モデル（BERT および ERNIE）は、標準的な NLP の微調整手順に従い、ASR の出力テキスト上で微調整された。
• 3つのアンサンブル戦略（バギングによる多数決、特徴量統合、スタッキング）を評価した。スタッキングでは、個々のモデルの予測値を連結し、メタラーナー（ロジスティック回帰）の入力として使用した。
• スタッキングは2段階で実装された：まず、個々のモデルを5分割交差検証で訓練し、次にその予測値を連結して検証セット上でメタ分類器を訓練した。

実験結果

リサーチクエスチョン

• RQ1 言語的複雑さと（不）流暢さ特徴量は、スプontaneousな発話からのアルツハイマー病検出において、事前学習された言語モデルの性能を向上させることができるか？
• RQ2 特にスタッキングを用いた複数モデルのアンサンブルは、リソースが限られたアルツハイマー病検出タスクにおいて、ロバスト性と一般化性能を向上させるか？
• RQ3 解釈可能な言語的特徴量は、エンドツーエンドのディープラーニングモデルと比較して、AD 分類において同等の性能を示すか？
• RQ4 異なるアンサンブル手法は、小規模な AD データセット上で学習されたモデルの過学習をどの程度緩和できるか？
• RQ5 人間が解釈可能な特徴量と深層文脈表現を組み合わせたハイブリッドモデルは、ADReSSo 2021 チャレンジで最先端の性能を達成できるか？

主な発見

• スタッキングを用いてロジスティック回帰による複雑さおよび（不）流暢さ特徴量と BERT・ERNIE を統合した最良のモデルが、テストセットで 83.1% の精度を達成し、ベースラインより 4.23% 高かった。
• モデル C（スタッキング）は、交差検証（83.16%）とテストデータ（83.10%）で同等の性能を示し、強いロバスト性と最小限の過学習を示した。
• 一方、多数決によるバギングや特徴量統合を用いたモデルは、テストセットで顕著な性能低下を示し、特にモデル A（78.87%）とモデル B（74.65%）が交差検証と比較して顕著な過学習を示した。
• 言語的複雑さと（不）流暢さ特徴量の統合により、微調整された事前学習モデルの性能が約 3% 向上した。これは、補完的で相違する情報のエンコードが行われたことを示している。
• 発話単位の複雑さおよび（不）流暢さ特徴量に基づくロジスティック回帰モデルが、5分割交差検証で約 80% の精度を達成し、微調整された BERT や ERNIE モデルと同等の性能を示した。これは、解釈可能な特徴量の価値を強調している。
• スタッキングアンサンブルは、多様な信号タイプ（言語的、流暢さ、文脈埋め込み）を効果的に統合し、臨床的意義のあるアルツハイマー病検出に適したロバストで高性能なシステムを実現した。