[논문 리뷰] Adaptive Memory Networks

Daniel Li, Asim Kadav|arXiv (Cornell University)|2018. 02. 01.

Topic Modeling참고 문헌 4인용 수 4

한 줄 요약

Adaptive Memory Networks (AMN)는 입력 질문에 대한 실체의 관련성에 기반해 이산적인 메모리 백업을 생성함으로써 질문에 대한 응답을 위한 가변 깊이의 메모리 아키텍처를 동적으로 구성한다. 이로 인해 선택적 백업 접근을 통해 더 빠른 추론이 가능해진다. 모델은 bAbI 작업에서 최고 성능을 기록하면서도 추론 시간을 최대 87%까지 줄였다. 이는 이산적이고 미분 가능한 백업 컨트롤러를 통해 실체의 일부만 검토함으로써 달성된다.

ABSTRACT

We present Adaptive Memory Networks (AMN) that processes input-question pairs to dynamically construct a network architecture optimized for lower inference times for Question Answering (QA) tasks. AMN processes the input story to extract entities and stores them in memory banks. Starting from a single bank, as the number of input entities increases, AMN learns to create new banks as the entropy in a single bank becomes too high. Hence, after processing an input-question(s) pair, the resulting network represents a hierarchical structure where entities are stored in different banks, distanced by question relevance. At inference, one or few banks are used, creating a tradeoff between accuracy and performance. AMN is enabled by dynamic networks that allow input dependent network creation and efficiency in dynamic mini-batching as well as our novel bank controller that allows learning discrete decision making with high accuracy. In our results, we demonstrate that AMN learns to create variable depth networks depending on task complexity and reduces inference times for QA tasks.

연구 동기 및 목표

• 질문 응답 시스템에서 정확도를 희생시키지 않고 추론 시간을 줄이는 것.
• 입력 복잡도에 기반해 동적 아키텍처 생성이 가능한 메모리 네트워크의 엔드 투 엔드 학습을 가능하게 하는 것.
• 메모리 백업 생성 및 실체 라우팅을 위한 이산적이고 미분 가능한 결정을 학습하는 것.
• 긴 컨텍스트 QA에서 관련 없는 메모리 백업만 선택적으로 디코딩함으로써 효율성을 향상시키는 것.
• 질문에 관련된 의미적으로 일관된 메모리 백업으로 실체를 정리함으로써 해석 가능성 향상

제안 방법

• AMN는 입력 스토리를 처리하여 실체를 추출하고, 실체의 엔트로피가 임계값을 초과할 경우 동적으로 메모리 백업 수를 늘림.
• 새로운 이산적이고 미분 가능한 백업 컨트롤러는 재설정 기법을 사용하여 실체의 배치를 이산적으로 결정함으로써 이산 선택에 대한 역전파를 가능하게 한다.
• 실체는 입력 질문에 대한 관련성에 따라 백업에 그룹화되며, 질문에 따라 달라지는 실체 클러스터링을 반영하는 계층적 구조를 형성한다.
• 모델는 입력에 따라 필요한 만큼의 백업만 생성하는 동적 네트워크 아키텍처를 사용하여 추론 시 계산을 줄인다.
• 다중 질문 처리를 위해 여러 질문 간에 공유되는 메모리 구조를 생성함으로써 반복적인 네트워크 구축을 방지한다.
• 디코더는 추론 시 가장 관련성이 높은 백업만 접근하므로 속도와 정확도 사이의 트레이드오프를 형성한다.

실험 결과

연구 질문

• RQ1 추론 시점에 메모리 네트워크가 아키텍처를 동적으로 구성함으로써 계산 비용을 줄일 수 있는가?
• RQ2 엔드 투 엔드 학습을 위해 이산적 메모리 관리 결정을 어떻게 미분 가능하게 할 수 있는가?
• RQ3 적응형 메모리 구성이 정확도를 떨어뜨리지 않고 추론 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 복잡도와 실체 관계를 가진 다양한 QA 작업에 대해 모델이 일반화할 수 있는가?
• RQ5 메모리 백업 수가 작업 난이도와 실체 관련성과 어떻게 관련이 있는가?

주요 결과

• AMN는 표준 메모리 네트워크 대비 최대 87%까지 추론 시간을 단축시키며, 실체의 일부만 검토함으로써 달성된다.
• bAbI 100-entities 작업에서 AMN는 6개의 메모리 백업을 생성하지만 총 실체의 13%만 사용한다 (비율 0.13)로 계산을 크게 줄였다.
• 다중 질문 작업에서는 입력 복잡도가 증가했음에도 불구하고 평균적으로 실체의 38%만 사용하여 높은 효율성을 유지한다.
• AMN는 bAbI 작업의 모든 20개에서 최고 성능을 기록했으며, 경로 탐색 및 카운팅과 같은 복잡한 추론 작업도 포함되어 있다.
• 실체가 희박하거나 매우 관련성이 높을 경우 오직 하나의 메모리 백업만 생성하는 것으로 나타나, 효과적인 관련성 기반 라우팅을 학습하고 있음을 보여준다.
• AMN의 이산적이고 미분 가능한 컨트롤러는 커리큘럼 학습 없이도 안정적인 학습이 가능하며, NTMs와는 달리 이에 대한 의존성이 없다.