[논문 리뷰] MEMO: A Deep Network for Flexible Combination of Episodic Memories

Andrea Banino, Adrià Puigdomènech Badia외 8명|arXiv (Cornell University)|2020. 01. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 7

한 줄 요약

MEMO는 외부 메모리와 함께 유연한 다단계 추론을 가능하게 하는 새로운 딥 네트워크 아키텍처를 제안한다. 이는 저장된 사실을 구성 요소와 분리하고 적응형 검색 메커니즘을 사용함으로써 에피소딕 메모리에 대한 민첩한 다단계 추론을 가능하게 한다. bAbI에서 최고 성능을 기록했으며, 장거리 연관 추론 및 최단 경로 태스크에서 기존 모델들을 능가하여 학습된 메모리 힙스를 통한 강력한 일반화 능력을 입증한다.

ABSTRACT

Recent research developing neural network architectures with external memory have often used the benchmark bAbI question and answering dataset which provides a challenging number of tasks requiring reasoning. Here we employed a classic associative inference task from the memory-based reasoning neuroscience literature in order to more carefully probe the reasoning capacity of existing memory-augmented architectures. This task is thought to capture the essence of reasoning -- the appreciation of distant relationships among elements distributed across multiple facts or memories. Surprisingly, we found that current architectures struggle to reason over long distance associations. Similar results were obtained on a more complex task involving finding the shortest path between nodes in a path. We therefore developed MEMO, an architecture endowed with the capacity to reason over longer distances. This was accomplished with the addition of two novel components. First, it introduces a separation between memories (facts) stored in external memory and the items that comprise these facts in external memory. Second, it makes use of an adaptive retrieval mechanism, allowing a variable number of "memory hops" before the answer is produced. MEMO is capable of solving our novel reasoning tasks, as well as match state of the art results in bAbI.

연구 동기 및 목표

• 기존의 메모리 증강 신경망이 장거리 연관 추론을 수행할 때 겪는 한계를 조사한다.
• 해마 기능을 영감으로 삼아, 분리된 에피소딕 메모리를 영리하게 조합함으로써 추론적 추론을 지원하는 모델을 개발한다.
• 작업 복잡도에 따라 적응형 메모리 힙스 수를 도입함으로써 고정된 계산 시간 문제를 해결한다.
• 절차적 생성된 추론 태스크를 사용함으로써 열악한 해법을 피하고 더 일반화 가능한 아키텍처를 만든다.
• 표준 벤치마크인 bAbI를 넘어서는 새로운 태스크, 예를 들어 쌍체 연관 추론 및 최단 경로 탐색에서의 성능을 평가한다.

제안 방법

• 외부 메모리에 저장된 사실과 그 사실을 구성하는 개별 항목 간의 분리를 도입함으로써 더 세밀한 조작을 가능하게 한다.
• 변동 가능한 길이의 메모리 검색을 허용하는 순환 주의 메커니즘을 사용하며, 각 힙스에서 이전 상호작용에 기반해 쿼리를 개선한다.
• 작업의 복잡도에 따라 필요한 메모리 힙스 수를 동적으로 결정하는 적응형 정지 메커니즘(Act)을 사용한다.
• 메모리 콘텐츠에 선형 투영을 적용하고, 여러 힙스에 걸쳐 관련 메모리 슬롯을 가중치로 설정하는 학습 가능한 쿼리 메커니즘을 사용한다.
• 메모리 크기와 파라미터를 고정함으로써 입력 문장 수에 대해 선형 시간 복잡도를 확보한다. 이는 유니버설 트랜스포머와 같은 이차 모델과는 달리 선형이다.
• 컨트롤러 네트워크(LSTM)가 쿼리를 처리하고 반복적으로 메모리 상태를 업데이트하는 기반으로 가능한 주의 기반 읽기/쓰기 메커니즘을 채택한다.

실험 결과

연구 질문

• RQ1 기존의 메모리 증강 네트워크는 장거리 연관을 요구하는 새로운 절차적 생성 추론 태스크에 일반화될 수 있는가?
• RQ2 분리된 사실들 사이에서 추론이 필요한 작업에서 메모리 힙스 수는 추론 성능에 어떤 영향을 미치는가?
• RQ3 고정된 힙스 수를 가진 모델에 비해 적응형 계산 메커니즘이 추론 효율성과 정확도를 향상시킬 수 있는가?
• RQ4 메모리에서 사실을 구성 요소와 분리함으로써 추론적 추론 능력이 향상되는가?
• RQ5 MEMO는 DNC, EMN 및 유니버설 트랜스포머와 같은 최신 모델들과 비교해 추론 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• MEMO는 장거리 연관 추론이 필요한 새로운 쌍체 연관 추론(PAI) 태스크에서 기존 모델, 특히 DNC와 EMN을 크게 능가한다.
• MEMO는 bAbI 질의 응답 벤치마크에서 최고 성능을 기록했으며, 100개의 모든 태스크를 높은 정확도로 해결했다.
• 최단 경로 태스크에서 강력한 일반화 능력을 보였으며, 95%의 인스턴스를 해결했고, 기준 모델들은 더 긴 경로에서는 실패했다.
• 적응형 힙스 메커니즘 덕분에 MEMO는 각 작업에 필요한 최소한의 힙스만 사용함으로써 성능을 유지하면서도 계산량을 줄였다.
• 사실과 구성 요소를 분리함으로써 더 효과적인 추론이 가능했으며, 이는 새로운 PAI 인스턴스에서의 제로샷 일반화 능력 향상으로 입증되었다.
• MEMO는 입력 길이에 대해 선형 시간 복잡도를 유지하여, 유니버설 트랜스포머와 같은 이차 모델보다 더 효율적이다.