[論文レビュー] Learning Linguistic Biomarkers for Predicting Mild Cognitive Impairment using Compound Skip-grams

Sylvester Olubolu Orimaye, Kah Yee Tai+2 more|arXiv (Cornell University)|Jan 1, 2015

Dementia and Cognitive Impairment Research参考文献 10被引用数 8

ひとこと要約

本研究では、軽度認知障害（MCI）を予測するための言語バイオマーカーを特定するために、複合スキップグラムモデルを提案する。DementiaBankデータセットの会話トランスクリプトからスキップグラム特徴を抽出することで、上位200個の組み合わせスキップグラムを用いたSVMによるAUCが0.99に達し、従来のWechsler記憶力テスト特徴を用いたベースラインを上回った。

ABSTRACT

Predicting Mild Cognitive Impairment (MCI) is currently a challenge as existing diagnostic criteria rely on neuropsychological examinations. Automated Machine Learning (ML) models that are trained on verbal utterances of MCI patients can aid diagnosis. Using a combination of skip-gram features, our model learned several linguistic biomarkers to distinguish between 19 patients with MCI and 19 healthy control individuals from the DementiaBank language transcript clinical dataset. Results show that a model with compound of skip-grams has better AUC and could help ML prediction on small MCI data sample.

研究の動機と目的

• MCI患者と健常対照群を区別するための言語バイオマーカーを、発話内容から同定すること。
• 臨床的会話トランスクリプトから導出されたスキップグラム特徴を用いて、MCI予測の精度を向上させること。
• 小標本MCI分類において、複合スキップグラムが従来の言語特徴を上回るかを評価すること。
• 自然言語処理を用いた自動機械学習による早期MCI検出の実現可能性を検討すること。

提案手法

• DementiaBankデータセットの発話トランスクリプトを抽出し、特にクッキー・スリーブ・ピクチャーディスクリプションタスクに焦点を当てる。
• 文内のトークン間に可変的な語のスキップを許容することで、k-スキップ-n-グラムを生成し、非隣接の語彙的および文法的パターンを捉える。
• 複数のスキップグラムタイプ（例：1-スキップ-2-グラム、2-スキップ-3-グラム）を組み合わせ、より強化された表現を実現する複合特徴セットを構築する。
• 2番目の最後のインタビューからの検証セットを用いて、上位1000個のスキップグラム特徴を選択する。
• Auto-Wekaを用いてハイパーパramータチューニングを実施したSVM、ナイーブベイズ、決定木、ロジスティック回帰の4つの機械学習モデルを訓練する。
• 19例のMCIおよび19例の対照群を対象に10分割交差検証を実施し、精度、再現率、F1スコア、AUCを測定して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 スキップグラム特徴は、話された言語におけるMCI関連の言語バイオマーカーを効果的に捉えられるか？
• RQ2 小規模データセットにおいて、複合スキップグラムモデルは従来の言語特徴を上回るMCI予測性能を示すか？
• RQ3 1-スキップ-2-グラム対比2-スキップ-3-グラムなどのスキップグラム設定の組み合わせの中で、最も高い予測性能を達成するのはどれか？
• RQ4 MCI分類のためのスキップグラム特徴を学習対象とした場合、異なる機械学習アルゴリズムの性能はどのように異なるか？

主な発見

• 複合スキップグラムモデルは、上位200個の組み合わせスキップグラムを用いたSVMでAUC 0.99を達成し、ベースラインを著しく上回った。
• ナイーブベイズおよびロジスティック回帰モデルもAUC 0.99を達成し、精度と再現率ともに0.98であった。
• 複合スキップグラムを用いたSVMモデルは、F1スコア0.97を示し、精度と再現率のバランスが良好であった。
• Wechsler論理記憶Iテスト特徴を用いたベースラインモデルはAUC 0.63にとどまり、スキップグラム特徴の優位性が顕著に示された。
• 個々のスキップグラムタイプの中で、1-スキップ-2-グラムおよび1-スキップ-3-グラムが、複数のモデルで一貫した性能を示した。
• 19例のMCIおよび19例の対照群という小規模なデータセットでもモデルの性能が安定しており、低データ環境におけるロバスト性が示された。