[논문 리뷰] Explicit-Blurred Memory Network for Analyzing Patient Electronic Health Records

Prithwish Chakraborty, Fei Wang외 2명|arXiv (Cornell University)|2019. 11. 15.

Machine Learning in Healthcare참고 문헌 15인용 수 4

한 줄 요약

이 논문은 전자 의료 기록(EHR) 분석을 위한 새로운 메모리 네트워크인 EBmRNN을 제안한다. 이 모델은 외부 메모리를 명시적 메모리와 흐린 메모리로 분할한다. 명시적 메모리는 최근 사건을 정확하게 저장하여 해석 가능성을 확보하고, 흐린 메모리는 더 이상 명시적 메모리에 존재하지 않는 과거 특징의 개괄적 요약을 축적하여 학습을 안정화시킨다. 모델은 ICU 예측 작업에서 최신 기술 수준(SOTA) 성능을 달성하면서도, 추적 가능한 메모리 접근을 통해 모델 결정의 명확한 해석을 가능하게 한다.

ABSTRACT

In recent years, we have witnessed an increased interest in temporal modeling of patient records from large scale Electronic Health Records (EHR). While simpler RNN models have been used for such problems, memory networks, which in other domains were found to generalize well, are underutilized. Traditional memory networks involve diffused and non-linear operations where influence of past events on outputs are not readily quantifiable. We posit that this lack of interpretability makes such networks not applicable for EHR analysis. While networks with explicit memory have been proposed recently, the discontinuities imposed by the discrete operations make such networks harder to train and require more supervision. The problem is further exacerbated in the limited data setting of EHR studies. In this paper, we propose a novel memory architecture that is more interpretable than traditional memory networks while being easier to train than explicit memory banks. Inspired by well-known models of human cognition, we propose partitioning the external memory space into (a) a primary explicit memory block to store exact replicas of recent events to support interpretations, followed by (b) a secondary blurred memory block that accumulates salient aspects of past events dropped from the explicit block as higher level abstractions and allow training with less supervision by stabilize the gradients. We apply the model for 3 learning problems on ICU records from the MIMIC III database spanning millions of data points. Our model performs comparably to the state-of the art while also, crucially, enabling ready interpretation of the results.

연구 동기 및 목표

• 기존 EHR 분석에 사용되는 전통적 메모리 네트워크에서 과거 사건의 영향력이 흐려지고 투명하지 않은 문제를 해결하기 위해.
• 명시적 메모리 전용 모델의 학습 불안정성과 높은 감독 필요성을 해결하기 위해, 기울기 안정성을 제공하는 보조적인 흐린 메모리를 도입하기 위해.
• 정확한 메모리 슬롯 추적을 통해 모델의 해석 가능성을 보장하면서도, 최신 기술 수준 아키텍처와 비교할 만한 일반화 능력과 성능를 유지하기 위해.
• 낮은 데이터 환경에서 EHR 분석의 해석 가능성과 학습 가능성의 균형을 이루기 위해 인간의 기억 구조(감각기, 명시적 기억, 장기기억)를 모방하기 위해.
• 명시적 메모리 접근 패턴이 사망률 및 표현형 분류와 같은 임상 예측 작업에서 모델 결정을 해석하는 데 사용될 수 있음을 입증하기 위해.

제안 방법

• 외부 메모리를 두 개의 별도 블록으로 분할: 최근 입력 이벤트의 정확하고 수정되지 않은 복사본을 추적 가능성을 위해 저장하는 주요 명시적 메모리.
• 과거 이벤트의 고수준 개괄적 요약을 축적하는 보조적 흐린 메모리를 도입하여, 학습을 위한 안정적이고 연속적인 메모리로 기능시킴.
• 각 시간 단계에서 읽기 위한 메모리 블록을 동적으로 결정하기 위해 게이트된 메모리 컨트롤러(GRU 기반)를 사용하며, 명시적 메모리와 흐린 메모리에 대해 별도의 주의 게이트를 적용함.
• 명시적 메모리의 읽기 게이트에 고정 온도 Gumbel-Softmax 재구성 기법을 적용하여, 이산적인 행동처럼 보이지만 미분 가능한 학습이 가능하도록 함.
• SGD에 관성항을 적용하고 기울기 클리핑을 수행하며, 하이퍼파라미터(메모리 크기, 컨트롤러 크기, 읽기 횟수)는 각 작업에 대해 검증을 통해 튜닝함.
• Atkinson-Shiffrin 인지 모델을 영감으로 삼아, 인간의 감각기, 단기기, 장기기 기억 과정을 모방하는 메모리 계층을 설계함.

실험 결과

연구 질문

• RQ1 명시적 메모리와 흐린 메모리 컴포넌트를 조합한 메모리 네트워크 아키텍처가 EHR 분류 작업에서 최신 기술 수준의 성능를 달성하면서도 모델 결정의 해석 가능성을 보장할 수 있는가?
• RQ2 명시적 메모리는 사망률 및 표현형 분류와 같은 임상 예측 작업에서 모델의 해석 가능성에 어떻게 기여하는가?
• RQ3 흐린 메모리는 특히 EHR 연구에서 흔한 낮은 데이터 환경에서 학습 안정성 향상과 일반화 능력 향상에 어떤 역할을 하는가?
• RQ4 읽기 게이트의 동역학은 다양한 작업 간에 어떻게 다름을 보이며, 이는 모델이 명시적 메모리와 개괄적 메모리 표현에 얼마나 의존하는지를 어떻게 드러내는가?
• RQ5 제안된 아키텍처가 복잡한 모델(예: 다층 트랜스포머)에 비해 성능를 뒤지지 않으면서도 더 해석 가능한가?

주요 결과

• EBmRNN은 단일 레이어 GRU 컨트롤러만을 사용하여도, 세 가지 ICU 예측 작업에서 다층 트랜스포머 아키텍처를 포함한 최신 기술 수준의 모델들과 비교해도 AUC-ROC 점수를 유사하게 달성한다.
• 명시적 메모리는 입력 이벤트의 완전한 추적 가능성을 보장하며, 시각화 결과에 따르면 핵심 이벤트들이 흐린 메모리로 이동하기 전까지도 명시적 슬롯에 오랫동안 유지됨을 확인할 수 있다.
• 읽기 게이트의 동역학은 작업에 따라 메모리 사용 방식이 다름을 드러낸다: 표현형 분류 작업에서는 명시적 메모리에 더 의존하는 경향을 보이며, 병원 내 사망률 예측 작업에서는 두 메모리 유형이 더 균형 있게 사용됨.
• 흐린 메모리는 학습 안정성 향상에 크게 기여한다; 흐린 메모리가 없는 모델들(예: EmRNN)은 기울기 폭발 문제를 겪었고, 더 높은 감독이 필요해 학습이 더 어려웠다.
• 명시적 메모리의 이점에도 불구하고, 병원 내 사망률과 같은 복잡한 작업에서는 추상화된 장기 패턴이 필수적이므로 흐린 메모리의 존재가 성능 향상에 필수적임을 확인했다.
• 모델의 해석 가능성은 특정 과거 이벤트(명시적 메모리 슬롯을 통해)가 예측에 가장 크게 기여한 것을 분석할 수 있다는 점에서 향상되었으며, 이는 임상 환경에서 후행적 설명을 지원한다.