[논문 리뷰] Self-attention based BiLSTM-CNN classifier for the prediction of ischemic and non-ischemic cardiomyopathy

Kavita Dubey, Anant Agarwal외 3명|arXiv (Cornell University)|2019. 07. 24.

Cardiac electrophysiology and arrhythmias참고 문헌 23인용 수 5

한 줄 요약

이 논문은 히스토패스로파일 사진에서 심부전성 및 비심부전성 심근병증을 분류하기 위해 인셉션-V3 아키텍처를 사용하는 자기주의 주의 기반 BiLSTM-CNN 모델을 제안한다. 자기주의 주의를 양방향 LSTM과 합성곱 특징과 통합함으로써 모델은 특징 표현을 향상시키고 기준 모델 대비 향상된 분류 정확도를 달성한다.

ABSTRACT

Heart Failure is a major component of healthcare expenditure and a leading cause of mortality worldwide. Despite higher inter-rater variability, endomyocardial biopsy (EMB) is still regarded as the standard technique, used to identify the cause (e.g. ischemic or non-ischemic cardiomyopathy, coronary artery disease, myocardial infarction etc.) of unexplained heart failure. In this paper, we focus on identifying cardiomyopathy as ischemic or non-ischemic. For this, we propose and implement a new unified architecture comprising CNN (inception-V3 model) and bidirectional LSTM (BiLSTM) with self-attention mechanism to predict the ischemic or non-ischemic to classify cardiomyopathy using histopathological images. The proposed model is based on self-attention that implicitly focuses on the information outputted from the hidden layers of BiLSTM. Through our results we demonstrate that this framework carries a high learning capacity and is able to improve the classification performance.

연구 동기 및 목표

• 내피심장생검(EMB)을 이용한 심근병증 원인 진단에서의 높은 평가자 간 변동성을 해결하기 위해.
• 히스토패스로파일 사진을 이용한 자동화된 딥러닝 기반 방법을 개발하여 심부전성과 비심부전성 심근병증을 구분하기 위해.
• 자기주의 주의를 BiLSTM 및 CNN 아키텍처와 통합하여 특징 표현을 향상시키고 분류 성능을 향상시키기 위해.

제안 방법

• 모델은 히스토패스로파일 사진에서 계층적 특징 추출을 위해 인셉션-V3를 CNN 기반으로 사용한다.
• 양방향 장기 단기 기억(비LSTM) 네트워크는 CNN가 추출한 순차적 특징을 처리하여 시간적 의존성을 모델링한다.
• 자기주의 주의 메커니즘은 비LSTM 출력에 적용되어 관련 특징을 동적으로 강조하고 잡음을 억제한다.
• 주의 메커니즘은 은닉 상태에 대해 맥락 인식 가중치를 계산하여 시퀀스의 분류에 기여하는 영역에 집중한다.
• 최종 분류는 자기주의 주의 메커니즘의 가중 특징에 대해 밀집층을 사용하여 수행된다.
• 모델은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되고, backpropagation을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 자기주의 주의 메커니즘이 히스토패스로파일 사진에서 심부전성 및 비심부전성 심근병증을 분류하는 데 있어 BiLSTM-CNN 모델의 성능을 향상시키는가?
• RQ2 자기주의 주의를 BiLSTM 및 CNN 구성 요소와 통합함으로써 특징 표현과 분류 정확도는 어떻게 향상되는가?
• RQ3 제안된 아키텍처는 표준 BiLSTM-CNN 및 주의 없이 구현된 모델보다 심근병증 아형을 구분하는 데에서 우수한 성능을 보이는가?

주요 결과

• 제안된 자기주의 주의 기반 BiLSTM-CNN 모델은 기준 모델 대비 히스토패스로파일 사진 데이터에서 높은 분류 정확도를 달성한다.
• 자기주의 주의 메커니즘은 시퀀스의 특징에서 분류에 기여하는 영역를 효과적으로 강조하여 모델의 해석 가능성과 성능을 향상시킨다.
• 주의 기반 특징 가중치 덕분에 모델은 히스토패스로파일 사진의 노이즈와 변동성에 대해 강건함을 보였다.
• 인셉션-V3와 비LSTM, 자기주의 주의의 통합은 심장 조직 사진에서 계층적이고 순차적인 패턴을 효과적으로 학습하는 데 기여한다.
• 임상적 적용 가능성이 높으며, 주관적인 EMB 해석에 대한 의존도를 감소시키는 데 강력한 잠재력을 보였다.