[논문 리뷰] Clinical Tagging with Joint Probabilistic Models

Yoni Halpern, Steven Horng외 1명|arXiv (Cornell University)|2016. 08. 02.

Machine Learning in Healthcare참고 문헌 20인용 수 7

한 줄 요약

이 논문은 황금 표준 진단이 없거나 확보하기 어려운 상황에서, ICD9 코드, 약물 사용, 자유 텍스트 노트에서 유도된 노이즈가 섞인 앵커 레이블을 사용하여 임상 태깅을 위한 동시 확률 모델을 제안한다. 이는 가능도 기반 목적함수와 모멘트 기반 초기화를 통해 관측되지 않은 임상 상태의 예측을 향상시킨다. 이 방법은 관측되지 않은 상태를 예측하는 데 있어 기준 모델들을 크게 능가하며, 보류된 조건 예측 작업에서 68%의 정확도와 79%의 MRR를 기록하여 진정한 레이블에 접근할 수 없음에도 불구하고 최적 성능에 가까운 성능을 달성한다.

ABSTRACT

We describe a method for parameter estimation in bipartite probabilistic graphical models for joint prediction of clinical conditions from the electronic medical record. The method does not rely on the availability of gold-standard labels, but rather uses noisy labels, called anchors, for learning. We provide a likelihood-based objective and a moments-based initialization that are effective at learning the model parameters. The learned model is evaluated in a task of assigning a heldout clinical condition to patients based on retrospective analysis of the records, and outperforms baselines which do not account for the noisiness in the labels or do not model the conditions jointly.

연구 동기 및 목표

• 황금 표준 레이블이 확보되지 않거나 확보하는 데 비용이 많이 들 때 정확한 임상 상태 예측 모델을 훈련하는 데 도전하는 것.
• ICD9 코드, 약물 사용, 자유 텍스트 노트에서 유도된 노이즈가 섞인 앵커 레이블을 사용하여 다중 임상 상태를 동시 모델링하는 방법을 개발하는 것.
• 관측되지 않은 임상 상태—특히 '환자는 또 어떤 병을 앓고 있을까?'라는 질문에 답하기 위해 개별적으로가 아니라 동시에 조건을 모델링함으로써 예측 성능을 향상시키는 것.
• 가능도 기반 훈련 목적함수와 모멘트 기반 초기화가 레이블 노이즈가 존재하는 상황에서도 모델 파라미터 복구에 얼마나 효과적인지 평가하는 것.

제안 방법

• 이 방법은 전자 의무기록 특징에서 23개의 임상 상태를 동시에 예측하기 위해 이분 그래프 기반 확률 모델을 사용한다.
• 황금 표준 레이블의 대체로 노이즈가 섞인 앵커 레이블(예: ICD9 코드, 약물 사용, 자유 텍스트 용어)을 사용하며, 레이블 노이즈를 추정하는 손상 모델을 적용한다.
• 모멘트의 방법 초기화는 앵커 통계를 사용하여 노이즈 과정의 파라미터를 추정하여 최적화의 안정적인 시작점을 제공한다.
• 반감독 학습을 통해 가능도 기반 목적함수를 최적화하여 앵커 레이블이 있는 데이터와 없는 데이터를 모두 활용해 모델 파라미터를 정밀하게 조정한다.
• 환자 기록은 이진 형태의 단어 주머니 표현을 사용하며, 나이의 분할, 성별, 주된 불만, 삼분기 기록, 임상 코드를 포함한다.
• 최종 추론은 조건 동시 발생을 모델링하고 관측되지 않은 조건의 사후 확률을 계산하기 위해 노이즈 없는 또는 모델을 사용한다.

실험 결과

연구 질문

• RQ1 노이즈가 섞인 앵커를 사용하는 동시 확률 모델링이 관측되지 않은 임상 상태 예측에서 개별 분류기보다 우수한 성능을 낼 수 있는가?
• RQ2 진짜 레이블이 확보되지 않은 상황에서 모멘트 기반 초기화가 모델 수렴과 성능 향상에 얼마나 효과적인가?
• RQ3 가능도 기반 훈련 목적함수가 진짜 레이블을 사용한 최대 가능도 추정의 성능에 얼마나 가까이 복구할 수 있는가?
• RQ4 독립적인 조건 예측과 비교해 병렬 모델링이 '환자는 또 어떤 병을 앓고 있을까?'라는 임상 질문에 대해 성능을 향상시키는가?

주요 결과

• 제안된 방법은 보류된 조건 예측 작업에서 68%의 정확도, 92%의 Top-5 재현율, 79%의 MRR를 기록하여 노이즈에 강건한 분류기와 단순 레이블링 기준 모델을 크게 능가했다.
• 가능도 최적화 이후의 '노이즈 없는 최종' 모델은 오라클 MLE 성능(71% 정확도, 81% MRR)과 3% 이내로 수렴하여 진짜 모델 구조를 잘 복구하고 있음을 시사했다.
• 모멘트 기반 초기화('노이즈 없는 최초 초기화')는 64%의 정확도와 76%의 MRR를 기록하여 적절한 초기화가 필수적임을 입증했으며, 무작위 초기화는 단순 레이블링 기준 모델을 초월하지 못했다.
• 모델은 의미 있고 임상적으로 관련된 특징을 학습했다: 예를 들어, 천식에 대해 'sob'과 'albuterol sulfate'가 높은 가중치를 가졌고, 's/p fall'은 낙상 관련 조건에 대해 높은 가중치를 가졌다.
• 진짜 레이블에 접근할 수 없음에도 불구하고 성능가 MLE를 사용한 황금 표준 레이블 성능에 가까워지므로, 레이블 노이즈에 대해 강건함을 보였다.
• 결과는 앵커를 사용한 병렬 모델링이 조건 간 보다 우수한 校정을 가능하게 하여 다중 조건 질의에 대한 추론 성능을 향상시킨다는 것을 시사한다.