[논문 리뷰] Relational recurrent neural networks

Adam Santoro, Ryan Faulkner외 8명|arXiv (Cornell University)|2018. 06. 05.

Topic Modeling참고 문헌 36인용 수 27

한 줄 요약

이 논문은 순환 신경망을 위한 새로운 메모리 모듈인 관계 메모리 코어(Relational Memory Core, RMC)를 소개한다. RMC는 다중 헤드 내적 곱 attention을 사용하여 메모리 슬롯 간의 명시적 상호작용을 가능하게 한다. 순차적 정보에 걸친 관계 추론을 향상시킴으로써, RMC는 언어 모델링(WikiText-103, GigaWord, Project Gutenberg), 프로그램 평가, Mini PacMan과 같은 강화학습 과제에서 최고 성능을 기록한다.

ABSTRACT

Memory-based neural networks model temporal data by leveraging an ability to remember information for long periods. It is unclear, however, whether they also have an ability to perform complex relational reasoning with the information they remember. Here, we first confirm our intuitions that standard memory architectures may struggle at tasks that heavily involve an understanding of the ways in which entities are connected -- i.e., tasks involving relational reasoning. We then improve upon these deficits by using a new memory module -- a extit{Relational Memory Core} (RMC) -- which employs multi-head dot product attention to allow memories to interact. Finally, we test the RMC on a suite of tasks that may profit from more capable relational reasoning across sequential information, and show large gains in RL domains (e.g. Mini PacMan), program evaluation, and language modeling, achieving state-of-the-art results on the WikiText-103, Project Gutenberg, and GigaWord datasets.

연구 동기 및 목표

• 순환 신경망에서 표준 메모리 아키텍처가 순차적 정보에 걸친 복잡한 관계 추론에 충분한 능력을 갖추고 있는지 여부를 조사하는 것.
• 저장된 메모리 간의 상호작용을 명시적으로 가능하게 하는 메모리 모듈을 설계하여 시간이 지남에 따라 관계 추론 능력을 향상시키는 것.
• 장거리 의존성과 관계 추론이 요구되는 과제, 예를 들어 프로그램 평가 및 언어 모델링에 대해 제안된 관계 메모리 코어(Relational Memory Core, RMC)를 평가하는 것.
• 어텐션을 통한 명시적 메모리-메모리 상호작용이 표준 RNN 및 메모리 보강 네트워크에 비해 순차적 추론 과제에서 성능 향상에 기여하는지 입증하는 것.
• 메모리 슬롯 수와 어텐션 헤드 수와 같은 아키텍처 선택 사항이 다양한 과제에서 모델 성능에 미치는 영향을 분석하는 것.

제안 방법

• RMC는 각 시간 단계에서 메모리 슬롯 간의 상호작용을 계산하는 다중 헤드 내적 곱 어텐션(Multi-Head Dot Product Attention, MHDPA) 모듈로 기존의 메모리 메커니즘을 대체한다.
• 메모리 보강 네트워크와 유사하게 고정된 수의 메모리 슬롯을 사용하지만, 이러한 슬롯 간의 어텐션 기반 상호작용을 도입하여 관계 추론을 가능하게 한다.
• 입력 벡터는 잔차 연결을 통해 메모리 상태와 함께 투영되고 조합되며, 이후 메모리 벡터에 대한 다중 헤드 어텐션을 통해 메모리 행렬이 업데이트된다.
• RMC는 순환적으로 작동하며, 한 번에 하나의 입력을 처리하고 시간이 지남에 따라 변화하는 동적 메모리 행렬을 유지한다.
• 아키텍처는 LSTMs, 메모리 보강 네트워크, 그리고 트랜스포머에서 영감을 얻었으며, 특히 트랜스포머 인코더의 자기어텐션 메커니즘을 통합한다.
• RMC 모듈은 미분 가능하며 표준 최적화 기법과 호환되므로, 표준 backpropagation를 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 표준 메모리 보강 RNN 및 LSTMs가 순차적 정보에 걸쳐 복잡한 관계 추론을 수행할 수 있는가, 아니면 메모리 간 상호작용을 위한 명시적 메커니즘이 부족한가?
• RQ2 메모리 슬롯 간에 명시적 어텐션 기반 상호작용을 도입하면, 시간에 걸친 관계 추론이 요구되는 과제에서 성능 향상이 이루어지는가?
• RQ3 메모리 슬롯 수와 어텐션 헤드 수와 같은 아키텍처 선택 사항이 모델의 관계 추론 능력에 어떤 영향을 미치는가?
• RQ4 표준 RNN에 비해 RMC가 낮은 컨텍스트 또는 소수의 샘플 설정에서 데이터 효율성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 RMC가 언어 모델링, 프로그램 평가, 강화학습을 포함한 다양한 순차적 추론 과제에서 최고 성능을 달성할 수 있는가?

주요 결과

• RMC는 언어 모델링 벤치마크인 WikiText-103에서 최고 성능을 기록하였으며, 퍼플렉서티 측면에서 이전 모델들을 능가하였다.
• GigaWord 및 Project Gutenberg 데이터셋에서 RMC는 새로운 최고 성능을 기록하였으며, 다양한 텍스트 도메인에 걸쳐 강력한 일반화 능력을 보였다.
• Mini PacMan 강화학습 환경에서 RMC는 표준 RNN 기반 모델을 크게 앞서며, 장거리 계획 수립 및 관계 추론 능력 향상을 시사하였다.
• RMC는 뛰어난 데이터 효율성을 보였다. 제한된 컨텍스트 단어로도 높은 성능을 달성하였으며, 더 큰 컨텍스트 창을 필요로 하는 LSTMs를 능가하였다.
• 모델링 능력이 향상된 빈도어휘는 언어 모델링 과제에서 퍼플렉서티 감소의 대부분을 차지하였다.
• 실험 분석 결과, 단일 슬롯 설정에서 어텐션 헤드 수를 늘일수록 성능 향상이 있었으며, 메모리 크기와 슬롯 수의 균형은 과제에 따라 달라졌다.