[논문 리뷰] Rare Disease Detection by Sequence Modeling with Generative Adversarial Networks

Kezi Yu, Yunlong Wang외 5명|arXiv (Cornell University)|2019. 07. 01.

Machine Learning in Healthcare참고 문헌 33인용 수 13

한 줄 요약

이 논문은 종단간 의료 청구 데이터에서 외분비 췌장 기능 저하(EPI)를 감지하기 위해 장기 기억망(LSTM)과 결합된 준지도 학습 생성 적대 신경망(GAN)을 제안한다. 비라벨된 환자 시계열 데이터를 활용하고 합성 양성 샘플을 생성함으로써, 180만 명의 환자와 29,149건의 EPI 사례로 구성된 데이터셋에서 정밀도와 재현율 측면에서 베이스라인 모델을 능가하는 0.56의 PR-AUC를 달성한다.

ABSTRACT

Rare diseases affecting 350 million individuals are commonly associated with delay in diagnosis or misdiagnosis. To improve those patients' outcome, rare disease detection is an important task for identifying patients with rare conditions based on longitudinal medical claims. In this paper, we present a deep learning method for detecting patients with exocrine pancreatic insufficiency (EPI) (a rare disease). The contribution includes 1) a large longitudinal study using 7 years medical claims from 1.8 million patients including 29,149 EPI patients, 2) a new deep learning model using generative adversarial networks (GANs) to boost rare disease class, and also leveraging recurrent neural networks to model patient sequence data, 3) an accurate prediction with 0.56 PR-AUC which outperformed benchmark models in terms of precision and recall.

연구 동기 및 목표

• 희귀 질환 감지 문제를 다루기 위해 극단적인 클래스 불균형과 제한된 라벨 데이터로 인한 과제를 해결한다.
• 외분비 췌장 기능 저하(EPI)의 조기 감지를 위해 종단간 의료 청구 데이터를 효과적으로 활용하는 딥러닝 모델을 개발한다.
• 준지도 학습을 통해 GAN을 활용해 비라벨 환자 시계열 데이터를 활용함으로써 모델 성능을 향상시킨다.
• 직접적으로 순차적인 의료 코드 시계열을 RNN으로 모델링함으로써 수동적인 특징 공학의 필요성을 제거한다.
• 의료 코드 임베딩 시각화와 벤치마크 비교를 통해 모델의 일반화 가능성과 해석 가능성 검증을 수행한다.

제안 방법

• 환자 의료 이력은 진단, 처방, 절차 등의 의료 코드 시퀀스로 표현되며, 음성 샘플링을 사용한 스킵그램 모델을 통해 300차원의 조밀한 벡터로 임베딩된다.
• 장기 기억망(LSTM)은 임bedded된 코드의 시퀀스를 고정된 길이의 환자 표현 벡터로 인코딩한다.
• 생성 적대 신경망(GAN)은 준지도 학습 설정에서 훈련되며, 구분자는 진짜 양성, 진짜 음성, 생성된 샘플을 분류함으로써 희귀 클래스에 대한 일반화 능력을 향상시킨다.
• 생성자는 실제 EPI 사례 수가 제한되어 있음을 감안해 합성 환자 시퀀스를 생성하여 데이터 불균형 문제를 완화하고 모델의 강건성을 높인다.
• 모델 훈련의 안정성과 성능 향상을 위해 적대적 손실와 지도 학습 교차 엔트로피 손실을 조합한 하이브리드 손실 함수를 사용한다.
• 최종 모델는 정밀도-재현율 AUC(PR-AUC)로 평가되며, 하이퍼파라미터는 별도의 검증 세트를 통해 튜닝된다.

실험 결과

연구 질문

• RQ1 라벨 데이터가 극도로 제한된 상황에서 GAN 기반 준지도 학습 프레임워크가 희귀 질환 감지에 효과적으로 기여할 수 있는가?
• RQ2 LSTM 기반 시계열 모델링과 적대적 훈련을 조합하면 종단간 EHR 데이터에서 기존 딥러닝 모델보다 더 높은 성능을 낼 수 있는가?
• RQ3 의료 코드 임베딩이 클러스터링 패턴을 통해 임상적으로 의미 있는 의미 관계를 얼마나 잘 포착하는가?
• RQ4 제안된 방법이 전통적인 모델인 로지스틱 회귀, 랜덤 포레스트, XGBoost보다 희귀 질환 감지에서 더 높은 정밀도와 재현율을 달성할 수 있는가?
• RQ5 GAN을 통해 비라벨 데이터를 포함시킬 경우, 불균형한 설정에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 SSL GAN 모델은 PR-AUC 0.56을 달성하여 가장 우수한 베이스라인 모델(DNN, 0.52 PR-AUC) 대비 6% 상대적 향상을 보였다.
• 로지스틱 회귀, 랜덤 포레스트, XGBoost, 그리고 단독 DNN 구분자보다 정밀도와 재현율 모두에서 뛰어난 성능을 보이며, 불균형 데이터에서의 우수성을 입증했다.
• 학습된 의료 코드 임베딩의 t-SNE 시각화 결과에서 의미 있는 클러스터링 패턴을 관찰할 수 있었으며, 호흡기 및 정신질환 진료 및 처방 코드는 의미적으로 일관된 군집을 형성했다.
• GAN 프레임워크 내에서 비라벨 데이터를 활용한 결과, DNN 베이스라인 대비 성능 향상이 뚜렷하게 나타나, 비라벨 데이터의 기여도가 확인되었다.
• 엔드 투 엔드 학습을 통해 원시 의료 코드 시계열을 직접 모델링함으로써 수동적인 특징 공학의 필요성을 크게 감소시켰다.
• 모델는 아키텍처가 수정이 최소한으로 필요한 수준에서 다른 희귀 질환 감지에 쉽게 적용 가능하므로 강력한 일반화 잠재력을 보였다.