[論文レビュー] Explainable CNN-attention Networks (C-Attention Network) for Automated Detection of Alzheimer's Disease

Ning Wang, Mingxuan Chen+1 more|arXiv (Cornell University)|Jun 25, 2020

Machine Learning in Healthcare被引用数 4

ひとこと要約

本論文では、1次元畳み込みニューラルネットワーク（1D-CNN）と自己注意メカニズムを組み合わせた、アルツハイマー病（AD）の検出を目的とした新規の解釈可能な深層学習フレームワーク、C-Attention Networkを提案する。本モデルは、品詞（PoS）タグとユニバーサル文埋め込みを用いて、会話トランスクリプトからADを検出する。DementiaBankデータセットにおいて92.2%の正確性と0.952のF1スコアを達成するとともに、注目重みを用いて特徴量内および特徴量クラス間の解釈可能な説明を提供する。

ABSTRACT

In this work, we propose three explainable deep learning architectures to automatically detect patients with Alzheimer`s disease based on their language abilities. The architectures use: (1) only the part-of-speech features; (2) only language embedding features and (3) both of these feature classes via a unified architecture. We use self-attention mechanisms and interpretable 1-dimensional ConvolutionalNeural Network (CNN) to generate two types of explanations of the model`s action: intra-class explanation and inter-class explanation. The inter-class explanation captures the relative importance of each of the different features in that class, while the inter-class explanation captures the relative importance between the classes. Note that although we have considered two classes of features in this paper, the architecture is easily expandable to more classes because of its modularity. Extensive experimentation and comparison with several recent models show that our method outperforms these methods with an accuracy of 92.2% and F1 score of 0.952on the DementiaBank dataset while being able to generate explanations. We show by examples, how to generate these explanations using attention values.

研究の動機と目的

• 非侵襲的な会話トランスクリプトを用いて、アルツハイマー病の早期検出を目的とした解釈可能な深層学習フレームワークの開発。
• AD検出における既存の深層学習モデルの解釈不能性の問題を、注目ベースの説明を導入することで解決すること。
• 複数の言語的特徴タイプ（例：PoSおよび埋め込み）を統合的に統合可能なモジュラーなアーキテクチャの実現。
• 言語的特徴のみを用いた従来の手法や解釈不能なモデルと比較して、モデル性能と臨床的解釈可能性の両方を向上させること。
• モバイルアプリケーションを介した実世界での展開可能性を示すことで、家庭でのスクリーニングに向けた実用的応用の妥当性を検証すること。

提案手法

• モデルは、逐次的な言語的特徴から階層的パターンを抽出するために1次元畳み込みニューラルネットワーク（1D-CNN）を用いる。
• 自己注意メカニズムは2段階に適用される：特徴量クラス内（PoSまたは埋め込み特徴量内）の注目と、特徴量クラス間（PoSと埋め込みの間）の注目。
• アーキテクチャはモジュラーであり、PoSと埋め込みに加えて、他の特徴量クラスへの容易な拡張が可能である。
• 特徴量クラス内注目は、特定の特徴量クラス内（例：特定のPoSタグ）の個々の特徴量の相対的重要性を計算する。
• 特徴量クラス間注目は、異なる特徴量クラス（例：PoS対埋め込み）が最終予測に与える相対的寄与度を計算する。
• 最終的な予測は、すべての特徴量ストリームからの注目された表現を統合するファージョン層によって生成される。

実験結果

リサーチクエスチョン

• RQ1 統一された深層学習アーキテクチャは、品詞タグと事前学習済み文埋め込みを効果的に統合してアルツハイマー病の検出を可能にするか？
• RQ2 注目メカニズムをどのように活用することで、臨床的に解釈可能な形で特徴量内および特徴量クラス間の説明を生成できるか？
• RQ3 患者サブグループに応じて、PoS特徴量と文埋め込み特徴量がモデル意思決定にどのように異なる寄与をしているか？
• RQ4 高い性能を達成しつつ、臨床的インサイトと同等の解釈可能性を維持できるか？
• RQ5 本モデルの注目分布は、アルツハイマー病の知られている言語バイオマーカー（例：代名詞の使用）とどのように一致するか？

主な発見

• C-Attention-FT+Embeddingモデルは、DementiaBankデータセットで92.2%の正確性と0.952のF1スコアを達成し、複数の最近のモデルを上回った。
• PoS特徴量の中で、NNPS（複数形固有名詞）、MD（助動詞）、EX（存在のための助詞）、PRP（代名詞）が最も影響力が強く、PoS特徴量全体の80.9%の注目度を占めた。
• テストケースの65.1%において、PoS特徴量ストリームの注目重みが文埋め込みストリームよりも高かった。これは、意思決定においてPoS特徴量が支配的役割を果たしていることを示している。
• 3名のテスト患者（AD患者2名と健常対照群1名）をすべて正しく分類した。注目重みは臨床的に妥当な傾向を示しており、例としてAD患者では複雑な言語障害が見られるため、埋め込み特徴量への注目が高かった。
• 本モデルの注目パターンは、先行する臨床的知見と整合している：AD患者は代名詞（PRP）を多く使用し、内容名詞を少なくする傾向がある。これは、PRPとNNPSに高い注目度が割り当てられていることに反映されている。
• モジュラー設計により、追加の特徴タイプへの拡張が可能であり、注目メカニズムはモデル予測に対する実行可能で人間が読みやすい説明を提供する。