[논문 리뷰] Working Memory Networks: Augmenting Memory Networks with a Relational Reasoning Module

Juan Pavez, Héctor Allende외 1명|arXiv (Cornell University)|2018. 05. 23.

Topic Modeling참고 문헌 15인용 수 6

한 줄 요약

이 논문은 관계 추론 모듈을 관계 네트워크(RNs)에서 가져온 계층적 어텐션 메커니즘에 통합한 메모리 네트워크 아키텍처인 워킹 메모리 네트워크(W-MemNN)를 제안한다. 이는 계산 복잡도를 O(n²)에서 O(n)으로 감소시키면서도 관계 추론 성능를 유지한다. 모델은 bAbI-10k 벤치마크에서 공동 학습된 상황에서 평균 오차가 0.5% 미만인 새로운 최고 성능을 달성하였으며, 단순한 두 모델 앙상블이 20개의 모든 작업을 해결하였다.

ABSTRACT

During the last years, there has been a lot of interest in achieving some kind of complex reasoning using deep neural networks. To do that, models like Memory Networks (MemNNs) have combined external memory storages and attention mechanisms. These architectures, however, lack of more complex reasoning mechanisms that could allow, for instance, relational reasoning. Relation Networks (RNs), on the other hand, have shown outstanding results in relational reasoning tasks. Unfortunately, their computational cost grows quadratically with the number of memories, something prohibitive for larger problems. To solve these issues, we introduce the Working Memory Network, a MemNN architecture with a novel working memory storage and reasoning module. Our model retains the relational reasoning abilities of the RN while reducing its computational complexity from quadratic to linear. We tested our model on the text QA dataset bAbI and the visual QA dataset NLVR. In the jointly trained bAbI-10k, we set a new state-of-the-art, achieving a mean error of less than 0.5%. Moreover, a simple ensemble of two of our models solves all 20 tasks in the joint version of the benchmark.

연구 동기 및 목표

• 표준 메모리 네트워크(MemNNs)가 주로 어텐션 기반 검색에 국한되어 깊은 추론이 불가능한 데서 비롯된 복잡한 관계 추론의 부족을 해결하기 위해.
• 메모리 크기가 증가함에 따라 성능이 급격히 떨어지는 관계 네트워크(RNs)의 이차적 계산 비용 문제를 해결하기 위해.
• 효율성과 해석 가능성은 어텐션 메커니즘을 통해 유지하면서도 메모리 네트워크 프레임워크에 관계 추론을 통합하기 위해.
• 특히 시각 질문 응답을 위해 외부 NLP 도구에 의존하지 않고 원시 입력 문장에서부터 엔드 투 엔드 학습을 가능하게 하기 위해.
• 메모리 네트워크와 관계 추론을 조합한 하이브리드 아키텍처가 복잡한 추론 벤치마크에서 최고 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 모델은 텍스트나 시각 입력을 벡터 표현으로 인코딩하기 위해 GRU 기반의 입력 모듈을 사용하며, 이를 단기 메모리 저장소에 저장한다.
• 어텐션 기반 제어기가 다중 힙을 수행하며, 관련 메모리 벡터에 주목하고 각 단계에서 압축된 워킹 메모리 버퍼를 업데이트한다.
• 관계 추론 모듈은 워킹 메모리 버퍼의 내용을 처리하여 선형 시간 내에서 엔티티 간의 관계에 대한 추론을 가능하게 한다.
• 어텐션 메커니즘이 불필요한 정보를 걸러내어 관계 계산의 수를 줄이고 확장 가능한 추론을 가능하게 한다.
• 시각 질문 응답을 위해, 덧셈 어텐션 메커니즘이 메모리와 문장 벡터의 연결을 피드포워드 네트워크에 입력하여 어텐션 가중치를 계산한다.
• 아키텍처는 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습되며, 복수의 힙을 거쳐 반복적인 어텐션과 추론 단계를 통해 추론이 수행된다.

실험 결과

연구 질문

• RQ1 관계 추론을 통합한 메모리 네트워크 아키텍처가 이차적 계산 비용 없이 복잡한 추론 작업을 해결할 수 있는가?
• RQ2 관계 추론 모듈의 통합이 bAbI와 같은 다단계 추론 벤치마크 성능에 어떤 영향을 미치는가?
• RQ3 제안된 모델이 작업별 특화 미세조정 없이 공동 학습된 bAbI-10k에서 얼마나 높은 최고 성능을 달성할 수 있는가?
• RQ4 외부 구조적 언어 처리 전처리 없이 원시 입력 문장만으로도 시각 질문 응답을 수행할 수 있는가?
• RQ5 제안된 아키텍처가 해석 가능성을 어텐션 가중치를 통해 유지하면서도 확장 가능한 관계 추론을 가능하게 하는가?

주요 결과

• W-MemNN는 공동 학습된 bAbI-10k 벤치마크에서 평균 오차가 0.5% 미만으로, 새로운 최고 성능을 달성하였다.
• 두 W-MemNN 모델의 단순 앙상블이 공동 bAbI-10k 벤치마크의 20개 모든 작업을 해결하여 강력한 일반화 능력을 보였다.
• NLVR 시각 질문 응답 데이터셋에서 모듈러 신경망과 유사한 성능를 달성했지만, 입력 처리를 위해 외부 NLP 도구가 필요로 하지 않았다.
• 벽시계 시간 측정 결과, 30개의 메모리 처리 시 W-MemNN는 표준 RNs 대비 20배 빠른 성능을 보였으며, 단일 배치 처리 시간이 930초에서 50초로 감소하였다.
• 정성적 분석을 통해 관계 추론 모듈이 관계 추론이 필요한 작업에서 핵심적임을 확인하였으며, 어텐션 가중치가 관련된 메모리 상호작용을 명확히 드러내었다.
• 추론 모듈의 계산 복잡도는 메모리 수와 함께 선형적으로 증가하지만, 표준 RNs와 달리 이차적 증가를 보이지 않아 더 큰 스케일 문제에 적용 가능하다.