[논문 리뷰] Dual Memory Neural Computer for Asynchronous Two-view Sequential Learning

Hung Lê, Truyen Tran외 1명|arXiv (Cornell University)|2018. 02. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 7

한 줄 요약

이 논문은 이중 메모리 신경 컴퓨터(DMNC)를 제안한다. DMNC는 두 개의 별도의 컨트롤러와 메모리를 사용하여 이질적인 두 뷰의 순차적 데이터를 모델링함으로써 뷰 내부의 동적 특성과 장기적 의존성을 포착한다. 이 모델은 후기 융합 및 초기 융합 메모리 모드를 지원하여 후기 및 초기 상호작용을 처리하며, 실제 의료 데이터를 사용한 약물 처방 및 질병 진행 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

One of the core tasks in multi-view learning is to capture relations among views. For sequential data, the relations not only span across views, but also extend throughout the view length to form long-term intra-view and inter-view interactions. In this paper, we present a new memory augmented neural network model that aims to model these complex interactions between two asynchronous sequential views. Our model uses two encoders for reading from and writing to two external memories for encoding input views. The intra-view interactions and the long-term dependencies are captured by the use of memories during this encoding process. There are two modes of memory accessing in our system: late-fusion and early-fusion, corresponding to late and early inter-view interactions. In the late-fusion mode, the two memories are separated, containing only view-specific contents. In the early-fusion mode, the two memories share the same addressing space, allowing cross-memory accessing. In both cases, the knowledge from the memories will be combined by a decoder to make predictions over the output space. The resulting dual memory neural computer is demonstrated on a comprehensive set of experiments, including a synthetic task of summing two sequences and the tasks of drug prescription and disease progression in healthcare. The results demonstrate competitive performance over both traditional algorithms and deep learning methods designed for multi-view problems.

연구 동기 및 목표

• 시간으로 정렬되지 않은 뷰 간 복잡한 뷰 내부 및 뷰 간 의존성을 보여주는 이질적인 장기 순차적 다중 뷰 데이터를 모델링하는 과제 해결.
• 동기화된 다중 뷰 학습의 한계를 극복하기 위해 가변 길이의 이질적인 순차적 뷰를 처리할 수 있도록 설계된 모델 개발.
• 세 가지 유형의 상호작용 포착: 뷰 내부 동적 특성, 추론 중 후기 뷰 간 매핑, 추론 이전의 초기 뷰 간 의존성.
• 외부 메모리를 활용한 일반적이고 확장 가능한 아키텍처 개발을 통해 실세계 응용 분야(예: 의료)에서 복잡한 순차적 상호작용을 모델링함.

제안 방법

• 각 입력 뷰를 독립적으로 인코딩하기 위해 두 개의 별도 신경 컨트롤러와 외부 메모리를 사용하여, 메모리 쓰기 및 읽기 과정을 통해 뷰 내부의 장기적 의존성을 모델링.
• 두 가지 별개의 메모리 액세스 모드 도입: 후기 융합(별도의 메모리 공간, 인코딩 중 교차 액세스 없음) 및 초기 융합(공유 주소 공간, 인코딩 중 교차 메모리 액세스 가능).
• 캐시 구성 요소 도입을 통해 시간 단계 간 쓰기 값의 일시적 저장을 가능하게 하여, 인코딩 중 뷰 간 이질적인 정보 공유를 실현.
• 디코딩 단계에서 메모리 쓰기 보호 메커니즘을 적용하여 추론의 효율성과 안정성을 향상.
• 디코더에서 두 메모리의 읽기 벡터를 결합하여 최종 예측 생성하며, 뷰 간 지식 통합을 위한 어텐션 기반 융합 사용.
• 내용 기반 주소 지정과 미분 가능한 읽기/쓰기 연산을 지원하는 외부 메모리를 활용하여 장거리 의존성 학습 지원.

실험 결과

연구 질문

• RQ1 메모리 증강 신경망이 이질적인 두 뷰 순차 데이터에서 장기적 의존성과 이질적인 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 후기 융합 및 초기 융합 메모리 모드는 서로 다른 유형의 뷰 간 상호작용을 어떻게 비교하여 포착하는가?
• RQ3 제안된 DMNC 모델이 실제 순차적 다중 뷰 작업에서 기존 딥러닝 및 전통적 다중 뷰 방법을 얼마나 뛰어나게 성능을 내는가?
• RQ4 다른 뷰 간 이벤트 수준의 상호작용을 모델링하면, 약물 처방 및 질병 진행 예측과 같은 의료 예측 작업에서 성능 향상이 이루어지는가?

주요 결과

• DMNC 모델은 지역 병원 데이터셋에서 약물 처방 작업에서 최신 기술 수준의 성능을 달성하여, P@1이 67.6%를 기록했으며, DeepCare(66.2%)와 WLAS(65.9%)를 모두 초월했다.
• 질병 진행 예측 작업에서 초기 융합 DMNC는 정신 건강 분야에서 P@3가 47.1%, 당뇨병 분야에서 56.9%를 기록하여, 모든 P@K 지표에서 WLAS와 DeepCare를 모두 뛰어넘었다.
• 초기 융합 모드가 초기 뷰 간 상호작용을 모델링하는 데 뛰어난 능력을 보였으며, 특히 심장 질환 관련 치료 순서를 잘 포착하여 Acetylsalicylic Acid와 같은 약물의 추천에 더 잘 포함시켰다.
• 사전 학습된 임베딩과 시간 간격 특징을 사용하는 DeepCare보다도 원시 의료 코드만을 기반으로 하여도 성능이 뛰어나, 이벤트 수준에서의 뷰 간 상호작용 모델링의 중요성을 입증했다.
• 쓰기 게이트 값의 시각화 결과, 두 모드 모두 심각하고 임상적으로 중요한 사건에 더 집중하는 것으로 나타났으며, 초기 융합 모드가 치료 예측에 필수적인 절차적 정보를 더 잘 유지했다.
• 당뇨병 코hort에서는 후기 융합 모드가 약간 더 뛰어난 성능을 보였지만, 전체적으로는 초기 융합 버전이 더 나은 성능을 보여, 초기 융합 모드가 모든 유형의 뷰 간 상호작용을 효과적으로 모델링할 수 있음을 입증했다.