[논문 리뷰] Attention-based Multi-instance Neural Network for Medical Diagnosis from Incomplete and Low Quality Data

Zeyuan Wang, Josiah Poon외 2명|arXiv (Cornell University)|2019. 04. 09.

Traditional Chinese Medicine Studies참고 문헌 31인용 수 10

한 줄 요약

이 논문은 환자 기록을 증상 인스턴스의 백(bag)으로 모델링함으로써 완전하지도 않고 저질의 임상 데이터로부터 종단간(end-to-end) 의료 진단을 가능하게 하는 주의 기반 다중인스턴스 신경망인 AMI-Net을 제안한다. 다중 헤드 주의, 인스턴스 수준 및 백 수준 풀링을 사용하여 정보가 풍부한 증상을 우선시함으로써 전통 중국의학(TCM) 및 서양의학 분야의 두 개의 실제 세계적, 불균형 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

One way to extract patterns from clinical records is to consider each patient record as a bag with various number of instances in the form of symptoms. Medical diagnosis is to discover informative ones first and then map them to one or more diseases. In many cases, patients are represented as vectors in some feature space and a classifier is applied after to generate diagnosis results. However, in many real-world cases, data is often of low-quality due to a variety of reasons, such as data consistency, integrity, completeness, accuracy, etc. In this paper, we propose a novel approach, attention based multi-instance neural network (AMI-Net), to make the single disease classification only based on the existing and valid information in the real-world outpatient records. In the context of a patient, it takes a bag of instances as input and output the bag label directly in end-to-end way. Embedding layer is adopted at the beginning, mapping instances into an embedding space which represents the individual patient condition. The correlations among instances and their importance for the final classification are captured by multi-head attention transformer, instance-level multi-instance pooling and bag-level multi-instance pooling. The proposed approach was test on two non-standardized and highly imbalanced datasets, one in the Traditional Chinese Medicine (TCM) domain and the other in the Western Medicine (WM) domain. Our preliminary results show that the proposed approach outperforms all baselines results by a significant margin.

연구 동기 및 목표

• 실제 외래 진료 환경에서 완전하지 않고 품질이 낮은 임상 기록으로부터 질병을 진단하는 데 도전하는 것.
• 매우 불균형하고 표준화되지 않은 의료 데이터셋을 효과적으로 처리할 수 있는 딥 러닝 모델을 개발하는 것.
• 완전하거나 일관된 데이터가 필요 없이 환자 수준의 증상 백에서 종단간 학습을 가능하게 하는 것.
• 주의 메커니즘을 통해 가장 정보가 풍부한 증상에 집중함으로써 진단 정확도를 향상시키는 것.

제안 방법

• 모델은 각 환자 기록을 증상 인스턴스의 백으로 간주하며, 각 인스턴스는 특성 공간 내의 벡터로 표현된다.
• 임bedding 계층은 원시 증상 벡터를 개별 환자 상태를 반영하는 조밀한 표현 공간으로 매핑한다.
• 다중 헤드 자기주의(self-attention) 메커니즘은 인스턴스 간 상관관계를 포착하고 중요한 증상을 강조하기 위해 주의 가중치를 할당한다.
• 인스턴스 수준의 다중인스턴스 풀링은 주의 가중치가 부여된 인스턴스를 융합하여 백 수준 표현으로 변환한다.
• 백 수준의 다중인스턴스 풀링은 최종 질병 분류를 위한 표현을 추가로 정제한다.
• 전체 네트워크는 입력 인스턴스 백에서 직접 백 수준의 진단 레이블을 예측할 수 있도록 종단간으로 훈련된다.

실험 결과

연구 질문

• RQ1 주의 기반 다중인스턴스 신경망은 실생활 의료 환경에서 완전하지 않고 품질이 낮은 임상 데이터로부터 효과적으로 학습할 수 있는가?
• RQ2 AMI-Net은 표준화되지 않은, 매우 불균형한 의료 데이터셋에서 기존의 기준 모델들과 비교해 얼마나 잘 성능을 내는가?
• RQ3 주의 메커니즘이 가장 정보가 풍부한 증상에 집중함으로써 진단 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 모델은 전통 중국의학과 서양의학과 같은 다양한 의료 분야로 일반화되는가?

주요 결과

• AMI-Net은 전통 중국의학 및 서양의학 데이터셋 양쪽에서 모든 기준 모델보다 진단 정확도에서 뚜렷한 승리를 거두었다.
• 모델은 매우 불균형하고 표준화되지 않은 두 개의 데이터셋에서 최신 기술 수준의 성능를 달성하여 데이터 품질 문제에 강건함을 입증했다.
• 주의 메커니즘은 진단에 가장 유용한 증상을 효과적으로 식별하고 우선순위를 매겨 모델의 해석 가능성을 향상시켰다.
• 종단간 훈련 프레임워크는 데이터 전처리나 특징 공학 없이도 환자 백에서 질병 레이블로 직접 매핑할 수 있도록 했다.