[논문 리뷰] Self-Attentive Associative Memory

Hung Lê, Truyen Tran외 1명|arXiv (Cornell University)|2020. 02. 09.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 항목 기억과 관계 기억을 분리하여 기억 요소 간의 고차원 관계를 외적 곱을 통해 모델링하는 새로운 신경망 모듈인 Self-Attentive Associative Memory (SAM)을 제안한다. 이 방법은 기억 저장과 관계 추론을 위한 엔드 투 엔드 학습을 가능하게 하여 기하학, 그래프 학습, 질의 응답 등 다양한 작업에서 경쟁적인 성능을 달성한다.

ABSTRACT

Heretofore, neural networks with external memory are restricted to single memory with lossy representations of memory interactions. A rich representation of relationships between memory pieces urges a high-order and segregated relational memory. In this paper, we propose to separate the storage of individual experiences (item memory) and their occurring relationships (relational memory). The idea is implemented through a novel Self-attentive Associative Memory (SAM) operator. Found upon outer product, SAM forms a set of associative memories that represent the hypothetical high-order relationships between arbitrary pairs of memory elements, through which a relational memory is constructed from an item memory. The two memories are wired into a single sequential model capable of both memorization and relational reasoning. We achieve competitive results with our proposed two-memory model in a diversity of machine learning tasks, from challenging synthetic problems to practical testbeds such as geometry, graph, reinforcement learning, and question answering.

연구 동기 및 목표

• 기존 외부 기억을 갖는 신경망의 한계를 해결하기 위해, 기억 상호작용을 단일한 손실이 큰 표현 방식에 의존하는 것.
• 간단한 저장을 넘어서 기억 요소 간의 관계를 명시적으로 모델링하여 고차원 관계 추론을 가능하게 하기 위해.
• 항목 기억과 관계 기억을 통합하여 일괄적인 기억 저장과 추론을 위한 통합 순차 모델 설계하기.
• 질의 응답 및 강화 학습과 같은 관계 추론이 필요한 복잡한 작업에서 성능 향상시키기.
• 다양한 기계 학습 벤치마크에서 두 가지 기억 아키텍처의 효과를 입증하기.

제안 방법

• SAM 연산자는 항목 기억 벡터 간의 외적 곱을 통해 관계 기억을 구성하여 고차원의 연상 기억 행렬을 형성한다.
• 행렬의 각 항목은 두 개의 기억 요소 간의 가상의 고차원 관계를 나타내며, 풍부한 관계 표현을 가능하게 한다.
• 모델은 추론 중 관련된 관계 패턴을 동적으로 주목하기 위해 자기주의 주의 메커니즘을 사용한다.
• 항목 기억은 개별 경험을 저장하며, 관계 기억은 그들 간의 상호작용과 구조적 관계를 포착한다.
• 두 기억 스트림은 단일 순차 아키텍처에 통합되어 기억 저장 및 추론 목표를 동시에 학습할 수 있도록 한다.
• 프레임워크는 기울기 기반 최적화를 가능하게 하는 가분리 학습을 지원한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처가 항목 기억과 관계 기억을 효과적으로 분리하여 추론 능력을 향상시킬 수 있는가?
• RQ2 외적 곱을 통해 구성된 고차원 관계 기억이 다양한 작업에서 복잡한 관계를 얼마나 잘 포착할 수 있는가?
• RQ3 항목 기억과 관계 기억을 통합하면 관계 추론이 필요한 작업에서 성능 향상이 이루어지는가?
• RQ4 제안된 SAM 연산자가 합성 및 실세계 벤치마크, 특히 그래프 및 강화 학습 작업에 일반화 가능한가?
• RQ5 기존의 기억 증강 신경망과 비교할 때 SAM 모델은 기억 저장 및 추론 성능 측면에서 어떻게 비교되는가?

주요 결과

• SAM 모델은 관계 추론이 필요한 도전적인 합성 작업에서 경쟁적인 성능를 보이며, 복잡한 패턴 학습 능력을 입증한다.
• 기하학적 추론, 그래프 기반 작업, 질의 응답과 같은 실용적 테스트 베드에서 강력한 일반화 성능를 보인다.
• 항목 기억과 관계 기억을 분리함으로써 단일 기억 대안보다 더 표현력 있고 구조화된 표현 방식을 가능하게 한다.
• 연상 기억을 형성하기 위해 외적 곱을 사용함으로써 관계에 대한 명시적 지도 없이도 고차원 관계 모델링이 가능하다.
• 엔드 투 엔드 학습 가능한 설계는 다양한 도메인에서 기억 저장 및 관계 추론의 효과적인 통합 학습을 지원한다.
• 시각적 질의 응답 및 강화 학습 환경과 같은 벤치마크에서 기존의 기억 증강 신경망을 능가하거나 동등하게 성능을 내고 있다.