[논문 리뷰] Mixed Pooling Multi-View Attention Autoencoder for Representation Learning in Healthcare

Shaika Chowdhury, Chenwei Zhang외 2명|arXiv (Cornell University)|2019. 10. 14.

Machine Learning in Healthcare참고 문헌 23인용 수 8

한 줄 요약

이 논문은 그래프 오토인코더를 이용한 모odal별 임베딩, 혼합 풀링을 통한 강건한 특징 추출, 그리고 다중 시각 주의를 통한 다중 모odal 통합을 조합함으로써 이질적인 전자적 의료기록(EHR) 데이터로부터 개인화된 환자 표현을 학습하는 비지도 딥러닝 모델인 혼합 풀링 다중 시각 주의 오토인코더(MPVAA)를 제안한다. MPVAA는 심부전 예측 및 순차적 질환 예측 작업에서 최신 기술(SOTA)을 능가하며, 다양한 임상 데이터 유형의 주의 기반 융합을 통한 뛰어난 표현 학습 능력을 입증한다.

ABSTRACT

Distributed representations have been used to support downstream tasks in healthcare recently. Healthcare data (e.g., electronic health records) contain multiple modalities of data from heterogeneous sources that can provide complementary information, alongside an added dimension to learning personalized patient representations. To this end, in this paper we propose a novel unsupervised encoder-decoder model, namely Mixed Pooling Multi-View Attention Autoencoder (MPVAA), that generates patient representations encapsulating a holistic view of their medical profile. Specifically, by first learning personalized graph embeddings pertaining to each patient's heterogeneous healthcare data, it then integrates the non-linear relationships among them into a unified representation through multi-view attention mechanism. Additionally, a mixed pooling strategy is incorporated in the encoding step to learn diverse information specific to each data modality. Experiments conducted for multiple tasks demonstrate the effectiveness of the proposed model over the state-of-the-art representation learning methods in healthcare.

연구 동기 및 목표

• 이질적인 EHR 데이터(인구통계학적 정보, 검사 결과, 임상 노트 포함)로부터 종합적이고 개인화된 환자 표현을 학습하는 데 도전하는 것.
• EHR 내 다양한 데이터 유형 간 상보적인 정보 융합을 통해 단일 모달리티 표현 학습의 한계를 극복하는 것.
• 비용이 많이 드는 레이블이 붙은 데이터에 대한 의존도를 줄이고 동시에 하류 예측 성능을 향상시키는 비지도 프레임워크를 개발하는 것.
• 인코딩 과정에 주의 메커니즘과 확률적 혼합 풀링을 통합하여 모델의 해석 가능성과 강건성을 향상시키는 것.

제안 방법

• 모든 모달리티(인구통계학적 정보, 검사 결과, 임상 노트)에 대해 환자별 내부 시각 그래프를 구축하여 그래프 오토인코더를 통해 국소적이고 모달리티에 특화된 임베딩을 학습한다.
• 환자의 의료 기록에서 방문 기록의 시퀀스를 다루기 위해 다층 트랜스포머 인코더를 적용하여 시간적 및 의미적 의존성을 모델링한다.
• 랜덤 방식으로 평균 풀링과 최대 풀링을 조합하는 확률적 혼합 풀링 전략을 도입하여 잠재 표현 내 일반적이고 주목할 만한 특징을 모두 유지한다.
• 다양한 시각 간 상호작용을 모델링함으로써 입력 시퀀스를 재구성하기 위해 디코더에서 다중 시각 주의 메커니즘을 구현한다.
• RNN을 사용하지 않고 순수하게 주의 메커니즘에 의존하는 자기 주의 기반 오토인코더 아키텍처를 채택하여 시퀀스 모델링을 수행한다.
• 시퀀스 순서를 유지하기 위해 위치 임베딩을 통합하였지만, 제거 실험 결과 의료 코드의 본질적 순서 불일치성으로 인해 그 영향이 미미함을 확인하였다.

실험 결과

연구 질문

• RQ1 다양한 모달리티에서 온 이질적인 EHR 데이터를 융합함으로써 비지도 모델이 종합적인 환자 표현을 효과적으로 학습할 수 있는가?
• RQ2 혼합 풀링 전략은 다중 모달리티 EHR 입력에서 다양한 특징과 강건한 특징을 포괄적으로 캡처하는 데 있어 결정론적 풀링 전략에 비해 어떻게 비교되는가?
• RQ3 다중 시각 주의 메커니즘이 임상 데이터 내 다중 모달리티 간 의존성을 모델링함으로써 표현 품질을 얼마나 향상시키는가?
• RQ4 제안된 MPVAA 모델은 기존 최신 기술(SOTA) 방법에 비해 하류 의료 예측 과업에서 더 잘 일반화되는가?

주요 결과

• MPVAA는 심부전 예측 및 순차적 질환 예측 작업에서 모두 LSTM-AE, M2V, GRAM과 같은 최신 기술(SOTA) 모델을 뛰어넘는 성능을 보였다.
• 제거 실험 결과 혼합 풀링이 성능 향상에 크게 기여하며, 평균 풀링과 최대 풀링을 무작위로 조합한 전략이 결정론적 대안보다 더 우수한 성능을 내는 것으로 확인되었다.
• 다중 시각 주의를 제외한 경우(VAA 및 MMAA 변종에서 관찰됨) 성능 저하가 가장 크게 발생하여 다중 모달리티 상호작용 모델링의 중요성을 입증하였다.
• MPVAA는 모든 기준선 대비 심부상 예측에서 더 높은 AUC-ROC 및 AUC-PR 스코어를 기록하였고, 순차적 질환 예측 과제에서는 더 높은 NDCG@k 스코어를 확보하였다.
• 위치 임베딩 없이도 모델의 성능이 강건하게 유지됨을 확인하여 주의 메커니즘이 시퀀스 순서에 관계없이 관련 패턴을 효과적으로 포착함을 시사한다.
• 모달리티에 특화된 임베딩을 위해 그래프 오토인코더를 사용함으로써 표준 벡터 표현에 비해 더 뛰어난 개인화 및 풍부한 특징 학습이 가능함을 입증하였다.