[논문 리뷰] Learning Efficient Algorithms with Hierarchical Attentive Memory

Marcin Andrychowicz, Karol Kurach|arXiv (Cornell University)|2016. 02. 09.

Topic Modeling참고 문헌 22인용 수 28

한 줄 요약

이 논문은 이진 트리 구조를 통해 효율적인 $Θ(\log n)$ 메모리 접근을 가능하게 하는 새로운 신경 메모리 아키텍처인 계층적 주의 메모리(Hierarchical Attentive Memory, HAM)를 소개한다. 이는 순환 신경망(LSTM)이 순수한 입력-출력 쌍에서 복잡한 알고리즘, 예를 들어 정렬과 검색을 학습할 수 있도록 한다. 모델은 훈련 중에 볼 수 있었던 길이보다 더 긴 시퀀스로 일반화할 수 있으며, 스택과 큐와 같은 고전적 데이터 구조를 시뮬레이션할 수 있다.

ABSTRACT

In this paper, we propose and investigate a novel memory architecture for neural networks called Hierarchical Attentive Memory (HAM). It is based on a binary tree with leaves corresponding to memory cells. This allows HAM to perform memory access in O(log n) complexity, which is a significant improvement over the standard attention mechanism that requires O(n) operations, where n is the size of the memory. We show that an LSTM network augmented with HAM can learn algorithms for problems like merging, sorting or binary searching from pure input-output examples. In particular, it learns to sort n numbers in time O(n log n) and generalizes well to input sequences much longer than the ones seen during the training. We also show that HAM can be trained to act like classic data structures: a stack, a FIFO queue and a priority queue.

연구 동기 및 목표

• 표준 주의 메커니즘이 메모리 접근에 $Θ(n)$ 연산을 필요로 하여 장시퀀스 작업에 제한을 받는다는 점을 해결하기 위해.
• 메모리 크기에 따라 효율적으로 확장되면서도 순수한 입력-출력 예시로부터 알고리즘적 행동을 학습할 수 있도록 메모리 아키텍처를 설계하기 위해.
• 훈련 시퀀스 길이를 초월하여 정렬 및 이진 검색과 같은 복잡한 알고리즘을 학습하고 일반화할 수 있도록 하기 위해.
• 메모리 구조가 스택, FIFO 큐, 우선순위 큐와 같은 고전적 데이터 구조를 시뮬레이션할 수 있음을 보여주기 위해.

제안 방법

• HAM 아키텍처는 리프 노드가 메모리 셀을 나타내고 내부 노드가 미분 가능한 조인 연산을 통해 정보를 집계하는 이진 트리로 구성된다.
• 메모리 접근은 루트에서 리프로 트리를 따라가며, 경로 상의 주의 확률은 미분 가능한 라우팅 메커니즘을 통해 계산된다.
• 모델은 경로 확률을 기반으로 모든 리프에 대한 기대 활성화를 계산하는 소프트 주의 변형(DHAM)을 사용하여 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• LSTM 컨트롤러는 트리 구조에 대한 주의를 통해 메모리 셀에서 읽고 쓰며, 업데이트는 트리를 따라 위로 전파되어 일관성을 유지한다.
• 계층적 구조가 가지는 간격 기반 연산에 대한 내재된 편향을 활용하여 알고리즘 작업의 학습을 지원한다.
• 시스템은 실행 추적 또는 보상 형상화 없이도 입력-출력 쌍에 대한 지도 학습을 통해 훈련된다.

실험 결과

연구 질문

• RQ1 신경망은 순수한 입력-출력 쌍에서 수열을 정렬할 수 있으며, 훈련 중에 본 길이보다 훨씬 긴 시퀀스로 일반화할 수 있는가?
• RQ2 계층적 주의 메커니즘이 표준 주의 메커니즘보다 알고리즘 작업의 학습 속도와 샘플 효율성을 높이는가?
• RQ3 HAM 메모리 구조는 스택, 큐, 우선순위 큐와 같은 고전적 데이터 구조를 시뮬레이션할 수 있는가?
• RQ4 HAM의 $Θ(\log n)$ 메모리 접근 복잡도는 정렬과 같은 $O(n\log n)$ 시간 알고리즘의 학습을 지원하기에 충분한가?
• RQ5 소프트(미분 가능) 버전의 HAM는 스토케스틱(경로 기반) 버전에 비해 훈련 안정성과 일반화 성능에서 어떻게 다른가?

주요 결과

• HAM을 통합한 LSTM은 $\Theta(n\log n)$ 시간에 $n$개의 수를 정렬하는 것을 성공적으로 학습하였으며, 훈련 중에 본 길이보다 훨씬 긴 시퀀스로 일반화하였다.
• 모델은 훈련 중에 본 최대 길이의 10배까지의 입력 시퀀스에 대해 잘 일반화되어 있어 강력한 인덕티브 바이어스를 보였다.
• HAM 메커니즘은 $\Theta(\log n)$ 메모리 접근 복잡도를 달성하여 표준 주의 메커니즘의 $\Theta(n)$ 연산에 비해 뚜렷이 뛰어난 성능을 보였다.
• HAM 메모리는 스택, FIFO 큐, 우선순위 큐를 모두 시뮬레이션할 수 있어 보편적인 메모리 추상화로서의 유연성을 입증하였다.
• 미분 가능한 소프트 버전(DHAM)은 스토케스틱 버전보다 훈련이 더 안정적이지만 더 큰 메모리 크기로의 일반화 성능은 떨어졌다.
• 계층적 구조는 병합과 이진 검색과 같은 효율적 알고리즘의 핵심이 되는 간격 기반 연산의 학습을 촉진하는 인덕티브 바이어스를 제공한다.