[논문 리뷰] Generating Synthetic but Plausible Healthcare Record Datasets

Laura J. Avino, Matteo Ruffini외 1명|arXiv (Cornell University)|2018. 07. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 24

한 줄 요약

이 논문은 ICD-9 진단 특징을 갖는 이진 변수를 사용하는 방법의 모멘트 기반 잠재변수 모델을 기반으로, 실제와 유사한 의료기록 데이터셋을 생성하기 위한 새로운 방법을 제안한다. GAN 기반 접근 방식인 MedGan과 달리, 모드 붕괴와 해석 불가능성 문제를 악화시키지 않으며, MIMIC-III 및 실제 심부전 환자 데이터셋에서 더 낮은 MMD 점수를 기록하고, 랜덤 포레스트가 실제 데이터와 구분하기 어려운 정도로 전반적인 현실성과 해석 가능성에서 뛰어난 성능을 보였다.

ABSTRACT

Generating datasets that "look like" given real ones is an interesting tasks for healthcare applications of ML and many other fields of science and engineering. In this paper we propose a new method of general application to binary datasets based on a method for learning the parameters of a latent variable moment that we have previously used for clustering patient datasets. We compare our method with a recent proposal (MedGan) based on generative adversarial methods and find that the synthetic datasets we generate are globally more realistic in at least two senses: real and synthetic instances are harder to tell apart by Random Forests, and the MMD statistic. The most likely explanation is that our method does not suffer from the "mode collapse" which is an admitted problem of GANs. Additionally, the generative models we generate are easy to interpret, unlike the rather obscure GANs. Our experiments are performed on two patient datasets containing ICD-9 diagnostic codes: the publicly available MIMIC-III dataset and a dataset containing admissions for congestive heart failure during 7 years at Hospital de Sant Pau in Barcelona.

연구 동기 및 목표

• 개인정보 보호 연구 및 기준 설정을 위한, 합리적이지만 합성된 의료데이터셋을 생성하는 데 도전하는 것.
• 의료기록 합성의 맥락에서 GAN 기반 방법의 한계, 특히 모드 붕괴와 해석 불가능성 문제를 극복하는 것.
• 실제 환자 데이터의 전반적 통계적 성질을 유지하면서도 해석 가능하고 확장 가능한 생성 모델을 개발하는 것.
• MIMIC-III 및 Hospital de Sant Pau에서 수집한 심부전 환자 데이터셋을 포함한 실제 이진 ICD-9 코드 기반 환자 데이터셋에 대해 모델을 평가하는 것.

제안 방법

• 모델은 환자 기록을 ICD-9 진단 코드를 나타내는 이진 특징으로 모델링하고, 나이브 베이즈 구조를 갖는 잠재변수 모델을 가정한다.
• 잠재변수 모델의 파라미터를 추정하기 위해 모멘트의 방법을 사용하며, 고차수 모멘트를 활용해 잠재적 군집 구조를 추론한다.
• 잠재 군집 수(k)는 모델의 복잡도를 조절하며, 현실성과 일반화 성능 간의 균형을 맞추기 위해 튜닝된다.
• 생성 모델은 잠재 군집에 대해 근거를 두고 진단의 합동 분포에서 샘플링하여 작동한다.
• 계산적으로 효율적이며 병렬 처리에 적합하지만, 현재 구현에서는 GPU 가속은 아직 구현되어 있지 않다.
• GAN의 적대적 학습 루프를 피하고, 안정적이고 해석 가능한 생성을 위해 닫힌 형태의 모멘트 추정에 의존한다.

실험 결과

연구 질문

• RQ1 모멘트 기반 잠재변수 모델은 MedGan과 같은 GAN 기반 방법보다 더 전반적으로 현실적인 합성 의료기록을 생성할 수 있는가?
• RQ2 제안된 방법은 의료 데이터 생성에서 GAN에 흔히 발생하는 모드 붕괴 문제를 피할 수 있는가?
• RQ3 랜덤 포레스트와 같은 표준 머신러닝 분류기로 합성 데이터를 실제 데이터와 구분할 수 있는 정도는 어느 정도인가?
• RQ4 MMD 통계량으로 측정했을 때, 방법이 실제 환자 데이터의 통계적 성질을 어느 정도 유지하는가?
• RQ5 GAN의 투명하지 않은 성격과 대비하여, 생성 모델은 해석 가능한가?

주요 결과

• MIMIC-III 데이터셋에서 제안된 방법은 100개의 잠재 군집을 사용했을 때 MMD 점수 0.01을 기록했으며, MedGan의 0.50과 기준 모델의 0.12보다 유의미하게 낮았다.
• 랜덤 포레스트 분류기의 실제 데이터와 합성 데이터를 구분하는 정확도는 100개의 군집을 사용했을 때 59%로 떨어졌으며, MedGan의 82%와 기준 모델의 86%보다 낮았다.
• 심부전 환자 데이터셋에서, 방법은 100개의 군집을 사용했을 때 MMD -0.01을 기록했고, MedGan은 MMD 3.92를 기록하여 실제 데이터와 훨씬 더 유사한 것으로 나타났다.
• 모든 평가 지표(정확도, 재현율, 정밀도, 특이도)에서 두 데이터셋 모두에서 MedGan과 기준 모델보다 방법이 뛰어난 성능을 보였다.
• 모델은 잠재 군집 수가 증가함에 따라 성능이 일관되게 향상되는 등 뛰어난 강건성과 안정성을 보였으며, 반면 MedGan은 MMD 성능이 악화되는 경향을 보였다.
• 생성 모델은 명시적인 매개변수 형태를 가지므로, GAN의 투명하지 않은 성격과 대비해 해석 가능성이 뛰어나다.