[논문 리뷰] Learning to Remember, Forget and Ignore using Attention Control in Memory

T. S. Jayram, Younes Bouhadjar외 5명|arXiv (Cornell University)|2018. 09. 28.

Memory Processes and Influences참고 문헌 22인용 수 3

한 줄 요약

이 논문은 주목사용 기반의 유사 인간 작업기억을 모방하는, 주목제어 기반 메모리 구조를 갖춘 새로운 신경망 아키텍처인 Differentiable Working Memory(DWM)을 소개한다. 모델은 관련성에 따라 정보를 기억하거나 잊거나 무시하도록 학습함으로써 인간의 작업기억을 모방한다. 동적 및 정적 북마크를 사용하여 주목을 제어함으로써, 심리학적 작업을 위한 강건한 학습과 기존 훈련 시퀀스보다 100배 길어선 시퀀스로의 일반화가 가능하며, 훈련 과정에서 '기록 덮어쓰기'와 '건너뛰기'와 같은 해석 가능한 전략이 부상한다.

ABSTRACT

Typical neural networks with external memory do not effectively separate capacity for episodic and working memory as is required for reasoning in humans. Applying knowledge gained from psychological studies, we designed a new model called Differentiable Working Memory (DWM) in order to specifically emulate human working memory. As it shows the same functional characteristics as working memory, it robustly learns psychology inspired tasks and converges faster than comparable state-of-the-art models. Moreover, the DWM model successfully generalizes to sequences two orders of magnitude longer than the ones used in training. Our in-depth analysis shows that the behavior of DWM is interpretable and that it learns to have fine control over memory, allowing it to retain, ignore or forget information based on its relevance.

연구 동기 및 목표

• 인간의 작업기억 기능적 특성(제한된 용량, 주목 제어 등)을 모방하는 신경망 모델을 개발하는 것.
• 관련성에 기반해 정보의 선택적 유지, 기각 또는 무시가 가능한 메모리 메커니즘을 설계하는 것.
• 인지심리학에서 유래한 알고리즘 작업 세트를 제작하여 신경망 내 작업기억 행동을 평가하고 탐색하는 것.
• 주목 제어 메커니즘이 메모리 보강 신경망에서 데이터 효율성과 일반화를 향상시키는 방식을 조사하는 것.
• 간섭 상황에서 메모리 관리를 위해 학습할 때 효율적인 메모리 전략(예: '기록 덮어쓰기' 또는 '건너뛰기')이 어떻게 부상하는지 연구하는 것.

제안 방법

• DWM 모델은 동적 북마크(현재 처리 상태 추적)와 정적 북마크(재확인 대상 저장)를 사용하여 주목을 제어하는 메모리 행렬을 사용한다.
• 입력 마커에 따라 주목을 이동하거나 정지시킬 수 있는 게이팅 메커니즘을 통해 주목을 제어함으로써, 메모리의 선택적 쓰기 및 읽기를 가능하게 한다.
• 입력 항목(x), 간섭 요소(y), 명령어(재확인 또는 무시), 재확인 마커를 구분하는 마커를 사용하여 시퀀스를 처리함으로써, 메모리 제어의 구조적 학습이 가능하다.
• 컨트롤러 네트워크는 은닉 상태를 사용하여 하위시퀀스 간에 운영 모드(예: 기록 덮어쓰기 대비 건너뛰기)를 유지함으로써 작업 맥락의 장기적 기억을 가능하게 한다.
• 주목 이동을 위해 원형 컬레시언을 사용하고, 북마크를 활용해 작업 요구에 따라 메모리 위치를 검색하거나 덮어쓰기 기술을 학습한다.
• 표준 backpropagation를 사용하여 훈련을 최적화하고, 정확한 재확인과 주목 제어 정확도를 기반으로 손실을 계산한다.

실험 결과

연구 질문

• RQ1 다양분 수학적 메모리 모델은 인간 작업기억과 유사하게 관련성이 있는지에 따라 정보를 선택적으로 기억하거나 기각하거나 무시할 수 있는가?
• RQ2 동적 및 정적 북마크와 같은 주목 제어 메커니즘이 메모리 보강 신경망에서 데이터 효율성과 일반화를 어떻게 향상시키는가?
• RQ3 간섭 상황에서 메모리 관리를 위해 학습할 때, '기록 덮어쓰기' 또는 '건너뛰기'와 같은 전략은 어떻게 발현되는가?
• RQ4 훈련 시 본 시퀀스보다 훨씬 긴 시퀀스로 일반화할 수 있는 정도는 어느 정도인가?
• RQ5 메모리 제어 행동은 얼마나 해석 가능하며, 주목 및 인지적 제어의 심리학적 메커니즘과 어떻게 연결될 수 있는가?

주요 결과

• DWM 모델은 훈련 시 사용된 시퀀스보다 두 개의 지수 차수 길어선 시퀀스로도 일반화를 성공적으로 수행하여, 시간적 일반화에 강력한 인덕티브 비이즈를 보여준다.
• 모델은 간섭 요소를 처리하기 위해 '기록 덮어쓰기'와 '건너뛰기'라는 두 가지 다른 전략을 학습하며, '건너뛰기' 전략은 메모리 제약 조건 하에서만 부상하고 더 복잡한 은닉 상태 기억이 필요하다.
• 훈련 과정에서 모델는 반응적인 '기록 덮어쓰기' 전략에서 더 효율적인 '건너뛰기' 전략으로 진화함으로써 운영 모드의 적응적 학습을 보여준다.
• 동적 북마크는 관련 항목에 대해 주목을 따라가고, 간섭 요소 처리 시에 주목을 정지시키며, 명확하고 임무에 특화된 주목 제어를 보여준다.
• 주목 제어 메커니즘이 복잡한 스파나 작업에서 강건한 성능을 발휘하며, 이전 모델인 DNC와 LSTM보다 데이터 효율성과 일반화에서 뛰어난 성능을 보였다.
• 시스템의 행동은 해석 가능하며, 주목 제어와 메모리 자원 관리의 명확한 증거가 있으며, 심리학적 작업기억 모델과 일치한다.