[논문 리뷰] Hierarchical Memory Networks

Sarath Chandar, Sungjin Ahn외 4명|arXiv (Cornell University)|2016. 05. 24.

Topic Modeling참고 문헌 22인용 수 49

한 줄 요약

이 논문은 질문-답변 작업에서 대규모 외부 메모리에 대해 확장 가능하고 미분 가능한 어텐션을 가능하게 하는 계층적 메모리 네트워크(HMNs)를 제안한다. K-최대 내적 곱 검색(K-MIPS)을 사용함으로써, 전체 소프트맥스 어텐션보다 빠른 학습과 추론을 달성하면서도 하드 어텐션보다 높은 정확도를 유지한다. 단일 쿼리당 평균 1,290회 메모리 접근으로 SimpleQuestions에서 62.2%의 정확도를 달성한다.

ABSTRACT

Memory networks are neural networks with an explicit memory component that can be both read and written to by the network. The memory is often addressed in a soft way using a softmax function, making end-to-end training with backpropagation possible. However, this is not computationally scalable for applications which require the network to read from extremely large memories. On the other hand, it is well known that hard attention mechanisms based on reinforcement learning are challenging to train successfully. In this paper, we explore a form of hierarchical memory network, which can be considered as a hybrid between hard and soft attention memory networks. The memory is organized in a hierarchical structure such that reading from it is done with less computation than soft attention over a flat memory, while also being easier to train than hard attention over a flat memory. Specifically, we propose to incorporate Maximum Inner Product Search (MIPS) in the training and inference procedures for our hierarchical memory network. We explore the use of various state-of-the art approximate MIPS techniques and report results on SimpleQuestions, a challenging large scale factoid question answering task.

연구 동기 및 목표

• 메모리 크기에 비례하여 선형적으로 증가하는 소프트 어텐션의 확장성 한계를 해결하기 위해.
• 강화학습 기반 하드 어텐션 기법의 학습 불안정성과 높은 분산 문제를 해결하기 위해.
• 소프트 어텐션의 미분 가능성과 하드 어텐션의 효율성을 결합한 하이브리드 어텐션 기법을 개발하기 위해.
• 특정 데이터셋에 의존하지 않는, 대규모 사실 기반 질문-답변 작업에서 메모리 네트워크의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 근사 K-MIPS 기법이 성능를 유지하면서도 계산 비용을 크게 줄이는 데 효과적인지 평가하기 위해.

제안 방법

• 외부 메모리를 계층적 구조로 구성하여 어텐션 기법의 검색 공간을 줄인다.
• 핵심 검색 기법으로 K-MIPS를 사용하며, 쿼리와 내적 곱이 가장 큰 상위-K 메모리 벡터를 선택한다.
• K-MIPS 연산을 미분 가능한 어텐션 모듈에 통합하여 리더 및 라이터 컴포넌트를 통해 엔드 투 엔드 역전파를 가능하게 한다.
• 클러스터링, WTA-Hash, PCA-Tree와 같은 근사 K-MIPS 알고리즘을 사용하여 추론 및 학습 속도를 향상시키면서도 성능를 유지한다.
• 클러스터링 기반 K-MIPS에서의 근사 편향을 줄이기 위해 Top-K, Sample-K, Rand-block 세 가지 전략을 도입한다.
• 모든 방법 간의 비교가 공정해지도록 하이퍼파라미터를 조정하여 속도 향상 수준을 유사하게 유지한다.

실험 결과

연구 질문

• RQ1 근사 K-MIPS 어텐션은 대규모 지식 기반 추론을 위한 미분 가능하고 엔드 투 엔드 학습 가능한 메모리 네트워크에서 효과적으로 사용될 수 있는가?
• RQ2 근사 K-MIPS 방법의 성능는 정확도 및 학습 효율성 측면에서 전체 소프트맥스 어텐션과 비교해 어떻게 되는가?
• RQ3 예를 들어 Top-K, Sample-K와 같은 K-MIPS 근사 전략의 조합 중에서 근사 편향을 최소화하면서도 계산 속도 향상을 유지하는 것은 무엇인가?
• RQ4 계층적 메모리 구조는 평탄한 메모리 아키텍처보다 빠른 수렴과 더 나은 일반화 성능을 가능하게 하는가?
• RQ5 제안된 방법은 이전 연구에서 사용된 히ュ리스틱 기반 필터링 방법보다 대규모 질문-답변 작업에서 성능를 뛰어넘을 수 있는가?

주요 결과

• 정확한 K-MIPS 어텐션 기법은 SimpleQuestions 테스트 세트에서 62.2%의 정확도를 달성하였으며, 전체 소프트맥스(59.5%)보다 높은 성능를 보였고, 쿼리당 평균 1,290회 메모리 접근만을 사용하였다.
• 클러스터링 기반 K-MIPS 방법은 속도와 정확도 사이의 최적의 균형을 이룩하여, WTA-Hash(40.2%)와 PCA-Tree(32.4%)보다 뚜렷이 뛰어난 성능를 보였다.
• Top-K 및 Sample-K 전략을 조합함으로써 근사 편향을 감소시키고 성능를 향상시켜 2,000개의 클러스터에서 53.1%의 정확도를 달성하였으며, Sample-K 전략을 생략한 경우 50.2%에 그쳤다.
• K-MIPS를 사용한 모델는 전체 소프트맥스보다 더 빠른 수렴 속도를 보였으며, 이는 검색 공간이 줄어들어도 학습이 방해되지 않고 오히려 최적화 안정성 향상에 기여할 수 있음을 시사한다.
• Rand-block 전략은 성능 향상에 기여하지 않았으며, 효과가 없음을 확인하여 클러스터링 기반 K-MIPS에서 무작위 블록 샘플링은 편향 감소에 도움이 되지 않는다는 것을 시사한다.