[논문 리뷰] Explainable CNN-attention Networks (C-Attention Network) for Automated Detection of Alzheimer's Disease

Ning Wang, Mingxuan Chen외 1명|arXiv (Cornell University)|2020. 06. 25.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 1D CNN과 자기주의 메커니즘을 조합하여 말의 문장 전사 자료에서 품사 태그와 유니버설 문장 임베딩을 사용해 알츠하이머병을 탐지하는 새로운 설명 가능한 딥러닝 프레임워크인 C-Attention 네트워크를 제안한다. 이 모델은 DementiaBank 데이터셋에서 92.2%의 정확도와 0.952의 F1 스코어를 기록하며, 주어진 특성 내부 및 특성 간의 클래스에 대한 설명을 주는 주의 가중치를 통해 해석 가능한 결과를 제공한다.

ABSTRACT

In this work, we propose three explainable deep learning architectures to automatically detect patients with Alzheimer`s disease based on their language abilities. The architectures use: (1) only the part-of-speech features; (2) only language embedding features and (3) both of these feature classes via a unified architecture. We use self-attention mechanisms and interpretable 1-dimensional ConvolutionalNeural Network (CNN) to generate two types of explanations of the model`s action: intra-class explanation and inter-class explanation. The inter-class explanation captures the relative importance of each of the different features in that class, while the inter-class explanation captures the relative importance between the classes. Note that although we have considered two classes of features in this paper, the architecture is easily expandable to more classes because of its modularity. Extensive experimentation and comparison with several recent models show that our method outperforms these methods with an accuracy of 92.2% and F1 score of 0.952on the DementiaBank dataset while being able to generate explanations. We show by examples, how to generate these explanations using attention values.

연구 동기 및 목표

• 비침습적인 말 자료를 이용해 조기 알츠하이머병 탐지를 위한 설명 가능한 딥러닝 프레임워크를 개발하기.
• 기존의 딥러닝 모델이 해석 가능성이 부족한 문제를 해결하기 위해 주의 기반 설명을 도입하기.
• 다양한 언어적 특성 유형(예: 품사 태그 및 임베딩)을 통합된 아키텍처에 모듈러하게 통합할 수 있도록 하기.
• 단지 언어적 특성 또는 설명 불가능한 모델을 사용한 이전 방법보다 모델 성능과 임상적 해석 가능성을 향상시키기.
• 모바일 애플리케이션을 통한 실생활 환경에서의 구현 가능성을 입증하기 위해 홈 기반 선별을 위한 실용적 응용 가능성을 확보하기.

제안 방법

• 모델은 순차적인 언어적 특성에서 계층적 패턴을 추출하기 위해 1D 컨volution 신경망(1D-CNN)을 사용한다.
• 자기주의 메커니즘이 두 수준에 적용된다: 특성 내부(품사 또는 임베딩 특성 내부)와 특성 클래스 간(품사와 임베딩 사이)의 주의.
• 아키텍처는 모듈러하여 품사와 임베딩 외의 추가 특성 유형에도 쉽게 확장 가능하다.
• 특성 내부 주의는 특정 특성 클래스 내에서 개별 특성의 상대적 중요도를 계산한다(예: 특정 품사 태그).
• 특성 간 주의는 서로 다른 특성 클래스(예: 품사 대 임베딩)가 최종 예측에 기여하는 상대적 기여도를 계산한다.
• 최종 예측은 모든 특성 스트림의 주의 가중치를 통합하는 융합 레이어를 통해 생성된다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 아키텍처가 알츠하이머병 탐지에 있어 품사 태그와 사전 학습된 문장 임베딩을 효과적으로 융합할 수 있는가?
• RQ2 어떻게 주의 메커니즘이 임상적으로 해석 가능한 방식으로 특성 내부 및 특성 클래스 간의 설명을 생성할 수 있는가?
• RQ3 환자 하위군에 따라 품사 특성과 문장 임베딩이 모델 결정에 어떻게 다르게 기여하는가?
• RQ4 높은 성능을 달성하면서도 임상적 통찰과 비교할 수 있는 수준의 해석 가능성을 유지할 수 있는가?
• RQ5 모델의 주의 분포가 알츠하이머병의 알려진 언어 생물지표(예: 대명사 사용)와 어떻게 비교되는가?

주요 결과

• C-Attention-FT+Embedding 모델은 DementiaBank 데이터셋에서 92.2%의 정확도와 0.952의 F1 스코어를 기록하여 최근 몇몇 모델을 능가했다.
• 품사 특성 중 가장 영향력이 큰 것은 NNPS(고유명사, 복수형), MD(모달), EX(존재적), PRP(대명사)였으며, 이들이 품사 특성에서 총 80.9%의 주의를 차지했다.
• 시험 케이스의 65.1%에서 품사 특성 스트림이 문장 임베딩 스트림보다 더 높은 주의 가중치를 확보하여 의사결정 과정에서의 주도적 역할을 확인했다.
• 모델은 테스트한 세 명의 환자(두 명의 AD 환자와 한 명의 건강한 대조군)를 모두 정확히 분류했으며, 주의 가중치가 임상적으로 타당한 경향을 반영했다—예를 들어 복잡한 언어적 결함이 있는 AD 환자에서는 임베딩 특성에 더 높은 주의 가중치가 할당되었다.
• 모델의 주의 패턴은 이전 임상 연구 결과와 일치한다: AD 환자는 더 많은 대명사(PRPs)를 사용하고 더 적은 내용어(명사)를 사용하는 경향이 있는데, 이는 PRP와 NNPS에 대한 높은 주의 가중치로 반영되었다.
• 모듈러한 설계 덕분에 추가 특성 유형으로의 확장이 가능하며, 주의 메커니즘은 모델 예측에 대한 실질적이고 인간이 읽을 수 있는 설명을 제공한다.