[논문 리뷰] Supervised topic models for clinical interpretability

Michael C. Hughes, Huseyin Melih Elibol외 3명|arXiv (Cornell University)|2016. 12. 06.

Topic Modeling참고 문헌 10인용 수 7

한 줄 요약

이 논문은 임상적 해석 가능성과 예측 성능을 햖을 수 있도록 훈련과 추론 간 일관성을 확보하기 위해 이상적인 문서 임베딩 함수를 통한 정규화된 엔드 투 엔드 최적화 프레임워크를 제안한다. 근사 추론을 위한 인식 네트워크를 통합함으로써, 특히 레이블 신호가 약할 경우, 기존의 sLDA보다 더 빠른 훈련과 더 나은 일반화 성능을 달성한다. 이는 대규모 EHR 데이터셋을 활용한 항우울제 치료 성공 예측에서 입증되었다.

ABSTRACT

Supervised topic models can help clinical researchers find interpretable cooccurence patterns in count data that are relevant for diagnostics. However, standard formulations of supervised Latent Dirichlet Allocation have two problems. First, when documents have many more words than labels, the influence of the labels will be negligible. Second, due to conditional independence assumptions in the graphical model the impact of supervised labels on the learned topic-word probabilities is often minimal, leading to poor predictions on heldout data. We investigate penalized optimization methods for training sLDA that produce interpretable topic-word parameters and useful heldout predictions, using recognition networks to speed-up inference. We report preliminary results on synthetic data and on predicting successful anti-depressant medication given a patient's diagnostic history.

연구 동기 및 목표

• 단어 수와 비교해 레이블이 희박한 고차원 임상 카운트 데이터에서 표준 감독 LDA의 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• sLDA에서의 조건부 독립 가정이 레이블이 주제-단어 파라미터에 미치는 영향을 제한하는 문제를 극복하기 위해.
• 가중 최적화를 사용해 생성적 및 판별적 항목을 균형 잡는 학습 목표를 개발하기 위해.
• 훈련 중에 비용이 많이 드는 테스트 시점 임베딩을 근사하는 인식 네트워크를 통해 확장 가능한 추론을 가능하게 하기 위해.
• 보류된 데이터에서 예측 성능을 향상시키면서도 임상적 통찰을 위한 해석 가능한 주제-단어 분포를 유지하기 위해.

제안 방법

• 비지도 및 지도 학습 가능도의 가중 조합을 사용해 문서-주제 임베딩과 레이블 예측을 동시에 최적화하는 수정된 목표 함수를 제안한다.
• 단어 수 $ x_d $ 와 주제 파라미터 $ \phi $ 를 문서-주제 분포 $ \pi_d $ 로 매핑하는 이상적인 임베딩 함수 $ f^* $ 를 도입하여 훈련과 테스트 시점의 추론 간 일관성을 확보한다.
• 모든 문서에서 반복 최적화를 피하기 위해 속도를 높이기 위해 인식 네트워크를 사용해 근사 임베딩 $ f^\lambda $ 를 개발한다.
• 단어 수와 레이블의 영향을 균형 잡기 위해 펜alties $ w_x $ 와 $ w_y $ 를 사용해 기울기 기반 최적화를 수행한다.
• 벡터화된 autograd 기반 최적화를 사용해 합성 및 실제 EHR 데이터에서 효율적인 훈련을 수행한다.
• 항우울제 처방 성공을 예측하기 위해 800,000명의 환자 만남을 포함한 대규모 EHR 데이터셋에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 레이블이 단어 수에 비해 희박할 경우, 정규화된 엔드 투 엔드 최적화 전략이 감독 주제 모델의 예측 성능을 향상시킬 수 있는가?
• RQ2 이상적인 함수 $ f^* $ 를 통해 훈련 시점과 테스트 시점의 문서 임베딩을 일치시킴으로써 과적합을 줄이고 일반화 성능을 향상시킬 수 있는가?
• RQ3 인식 네트워크 기반 근사 $ f^\lambda $ 는 $ f^* $ 와 유사한 성능을 달성하면서도 훈련 시간을 크게 줄일 수 있는가?
• RQ4 제안된 방법은 표준 sLDA와 기초적인 보자기 모델 기반 로지스틱 회귀 모델에 비해 항우울제 치료 성공 예측에서 어떻게 성능을 냈는가?
• RQ5 학습된 주제-단어 파라미터가 정확도를 향상시키는 동안 얼마나 해석 가능한가?

주요 결과

• 이상적인 엔드 투 엔드 훈련($ f^* $)은 레이블 가중치가 낮을 경우 기존의 sLDA에 비해 예측 오차를 크게 줄였다.
• $ f^* $ 를 사용할 경우 모든 약물에 대해 더 낮은 오차율을 달성했으며, 희귀 약물인 이미프라민과 데시프라민의 경우 AUC 개선 폭이 최대 0.15에 이르렀다.
• 근사 임베딩 $ f^\lambda $ 는 $ f^* $ 대비 훈련 시간을 3.6배 감소시켰으며, 대부분의 약물에서 경쟁 가능한 예측 성능을 유지했다.
• 유병률이 1% 이상인 약물의 경우 $ f^\lambda $ 는 $ f^* $ 와 AUC 점수 차이가 0.02 이내로 유지되어 우수한 근사 품질을 입증했다.
• 성능 향상에도 불구하고 최고의 sLDA 모델는 여전히 단순한 보자기 모델 기반 로지스틱 회귀 기준선보다 성능이 열 劣했으며, 국소 최적점 문제의 어려움을 시사했다.
• 높은 $ w_x $ 인 경우에도 이 방법은 여전히 해석 가능한 주제-단어 파라미터를 유지하여 학습된 패턴의 임상적 해석 가능성을 확보했다.