[논문 리뷰] Dual Control Memory Augmented Neural Networks for Treatment Recommendations

Hung Lê, Truyen Tran외 1명|arXiv (Cornell University)|2018. 02. 11.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 전자 의무기록을 순차적 입력으로 간주하여 장기적 의존성을 포착하기 위해 이중 컨트롤러 씻기 보호 메모리 증강 신경망(DCw-MANN)을 제안한다. 이 방법은 MIMIC-III 데이터셋에서 절차 예측 및 약물 처방 작업 모두에서 기존의 bag-of-words 및 순서-순서 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Machine-assisted treatment recommendations hold a promise to reduce physician time and decision errors. We formulate the task as a sequence-to-sequence prediction model that takes the entire time-ordered medical history as input, and predicts a sequence of future clinical procedures and medications. It is built on the premise that an effective treatment plan may have long-term dependencies from previous medical history. We approach the problem by using a memory-augmented neural network, in particular, by leveraging the recent differentiable neural computer that consists of a neural controller and an external memory module. But differing from the original model, we use dual controllers, one for encoding the history followed by another for decoding the treatment sequences. In the encoding phase, the memory is updated as new input is read; at the end of this phase, the memory holds not only the medical history but also the information about the current illness. During the decoding phase, the memory is write-protected. The decoding controller generates a treatment sequence, one treatment option at a time. The resulting dual controller write-protected memory-augmented neural network is demonstrated on the MIMIC-III dataset on two tasks: procedure prediction and medication prescription. The results show improved performance over both traditional bag-of-words and sequence-to-sequence methods.

연구 동기 및 목표

• 전자 의무기록(EMRs)을 활용하여 임상 치료 예측에서 장기적 의존성을 다루는 데 목표를 두다.
• 입원 기록을 순서 없는 집합으로 간주하는 기존 방법의 한계를 극복하여, 입원 내외의 순차적 패턴을 간과하지 않도록 하다.
• 의료 분야의 순서-순서 예측에 특화된 메모리 증강 아키텍처를 개발하다.
• 임상 절차 및 약물 처방 추천 작업의 예측 정확도와 학습 효율성을 향상시키다.

제안 방법

• 전체 시간 순서대로 정렬된 의료 기록을 입력으로 사용하여 치료 추천을 순서-순서 예측 문제로 공식화하다.
• 다양분수 신경 컴퓨터(DNC)를 변형하여, 의료 기록을 인코딩하는 데 사용되는 하나의 컨트롤러와 치료 시퀀스를 디코딩하는 데 사용되는 다른 하나의 컨트롤러를 도입하다.
• 디코딩 단계 동안 기록 단계에서 학습된 표현을 유지하기 위해 씻기 보호 메모리 메커니즘을 사용하다.
• 외부 메모리를 활용하여 다수의 입원 기록 간 장기적 임상 의존성을 저장하고 검색하다.
• 백프로파게이션을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 이중 컨트롤러가 인코딩과 디코딩에 대해 각각 다른 전략을 학습하도록 하다.
• 진단, 절차, 약물 등의 의료 코드를 임bedding으로 표현하고, 이중 컨트롤러 아키텍처를 통해 순차적으로 처리하다.

실험 결과

연구 질문

• RQ1 메모리 증강 신경망은 치료 추천을 위한 순차적 임상 데이터에서 장기적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 의료 기록을 인코딩하는 데 사용되는 컨트롤러와 치료를 디코딩하는 데 사용되는 컨트롤러를 별도로 두는 것이 단일 컨트롤러 모델에 비해 성능과 학습 속도를 향상시키는가?
• RQ3 디코딩 단계에서 메모리에 씻기 보호를 적용하는 것은 순서-순서 임상 모델링에서 예측 정확도와 안정성에 어떤 영향을 미치는가?
• RQ4 DCw-MANN은 전통적인 bag-of-words 모델 및 표준 순서-순서 모델에 비해 임상 시퀀스 예측 작업에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• DCw-MANN 모델은 MIMIC-III 데이터셋에서 기준 모델에 비해 절차 예측 및 약물 처방 작업 모두에서 뛰어난 성능을 달성한다.
• 메모리 증강 모델은 특히 출력 시퀀스가 길고 복잡한 약물 처방 작업에서 표준 순서-순서 모델보다 뚜렷이 뛰어나다.
• 디코딩 단계에서의 씻기 보호 메모리 메커니즘은 장기적 시퀀스 예측에서 모델의 안정성과 성능을 향상시킨다.
• DCw-MANN는 표준 DNC보다 약물 처방 작업에서 더 빠른 수렴을 보이며, 학습 효율성이 향상됨을 시사한다.
• 모델은 입원 내외의 순차적 의존성을 효과적으로 포착하며, 시간 순서와 임상 맥락을 유지한다.
• 시퀀스 기반 모델에 대해 불리한 지표가 적용되더라도 DCw-MANN는 비시퀀스 기반 베이스라인을 여전히 능가한다. 이는 시퀀스 인식 설계의 타당성을 입증한다.