[논문 리뷰] Linguistic Knowledge as Memory for Recurrent Neural Networks

Bhuwan Dhingra, Zhilin Yang외 2명|arXiv (Cornell University)|2017. 03. 07.

Topic Modeling참고 문헌 34인용 수 34

한 줄 요약

이 논문은 핵심 공통관계 및 하위관계와 같은 상징적 언어 지식을 유형화된 장거리 간선을 통해 순환 신경망에 통합하는 메모리 증강 RNN 프레임워크인 MAGE-RNN을 제안한다. 결과로 생성된 그래프를 방향성 없는 사이클 서브그래프로 분해하고 각 간선 유형 별로 별도의 표현을 학습함으로써 MAGE-RNN은 명시적이고 구조화된 메모리 접근을 가능하게 하여 CNN, bAbi, LAMBADA 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 각 작업당 1,000개의 훈련 예제만으로도 20개 중 15개의 bAbi 작업을 해결하였다.

ABSTRACT

Training recurrent neural networks to model long term dependencies is difficult. Hence, we propose to use external linguistic knowledge as an explicit signal to inform the model which memories it should utilize. Specifically, external knowledge is used to augment a sequence with typed edges between arbitrarily distant elements, and the resulting graph is decomposed into directed acyclic subgraphs. We introduce a model that encodes such graphs as explicit memory in recurrent neural networks, and use it to model coreference relations in text. We apply our model to several text comprehension tasks and achieve new state-of-the-art results on all considered benchmarks, including CNN, bAbi, and LAMBADA. On the bAbi QA tasks, our model solves 15 out of the 20 tasks with only 1000 training examples per task. Analysis of the learned representations further demonstrates the ability of our model to encode fine-grained entity information across a document.

연구 동기 및 목표

• 제한된 훈련 데이터에서 장거리 의존성을 모델링하는 데 도전하는 것.
• 핵심 공통관계 및 하위관계와 같은 상징적 언어 지식을 순환 신경망에 통합하여 텍스트 이해를 향상시키는 것.
• 데이터 기반의 주의 메커니즘 또는 메모리 메커니즘에만 의존하는 것이 아니라, 외부 지식을 명시적으로 사용하여 메모리 접근를 유도하는 메모리 증강 RNN 아키텍처를 설계하는 것.
• 특히 저데이터 환경에서 벤치마크 텍스트 이해 작업에서 뛰어난 성능을 달성하는 것.
• 구조화된 언어 지식이 종료형으로 학습되는 모델에서도 순서 모델링에 효과적인 인덕티브 바이어스가 될 수 있음을 보여주는 것.

제안 방법

• 핵심 공통관계, 하위관계 등의 언어 관계를 나타내는 유형화된 장거리 간선을 입력 시퀀스에 추가하여, 사이클을 포함한 그래프로 변환하는 것.
• 원래 시퀀스 순서를 위상 정렬 순서로 사용하여 결과 그래프를 두 개의 방향성 없는 사이클 그래프(DAG)로 분해함으로써 효율적이고 단일 패assing 계산을 가능하게 하는 것.
• 각 노드에서 각 간선 유형 별로 별도의 은닉 상태와 메모리 표현을 유지하는 MAGE-RNN 프레임워크를 도입하여, 유형별로 정보 전파를 가능하게 하는 것.
• 기존 모델의 표준 GRU 유닛을 MAGE-GRU 유닛으로 대체하여 언어 메모리를 시퀀스 모델에 통합하는 MAGE-GRU의 GRU 기반 변종을 구현하는 것.
• 각 간선 유형을 따라 전파되는 표현을 별도로 학습하여, 상징적 신호를 통해 관련된 원거리 요소에 선택적으로 주의할 수 있도록 모델을 파arameterize하는 것.
• 핵심 공통관계 해결 도구를 사용하여 실체 언급을 추출하고 간선을 통해 연결한 후, 이러한 연결을 RNN에 명시적 메모리 신호로 통합하는 것.

실험 결과

연구 질문

• RQ1 핵심 공통관계 및 하위관계와 같은 상징적 언어 지식이 RNN의 메모리 접근을 효과적으로 이끌 수 있는가?
• RQ2 유형화된 간선으로서의 구조화된 언어 관계를 통합하면 저데이터 환경에서 장거리 의존성 모델링이 향상되는가?
• RQ3 언어 관계를 명시적 메모리 신호로 간주하는 메모리 증강 RNN 프레임워크가 표준 RNN 및 주의 기반 모델보다 텍스트 이해 작업에서 뛰어난 성능을 낼 수 있는가?
• RQ4 외부 지식이 사용될 경우, 모델의 성능이 제한된 훈련 데이터에서 어떻게 스케일링되는가?
• RQ5 MAGE-RNN은 장기간 문서에 걸쳐 세밀한 실체 수준의 정보를 얼마나 잘 인코딩할 수 있는가?

주요 결과

• MAGE-RNN는 CNN 데이터셋에서 최신 기술 수준의 성능을 달성하여, MAGE-GRU(32)로는 테스트 정확도 0.786, MAGE-GRU(16)로는 0.792를 기록하며 이전 최신 기술 수준보다 0.7% 향상되었다.
• bAbi QA 작업에서, 각 작업당 1,000개의 훈련 예제만으로도 20개 중 15개의 작업을 해결하여 저데이터 환경에서 뛰어난 일반화 능력을 보였다.
• MAGE-GRU 모델은 BiGRU 베이스라인을 CNN에서 2.5%p 향상시켰다(테스트 세트에서 0.704에서 0.729로), 추가 데이터 없이도 성능 향상을 달성하였다.
• 모델은 표준 GRU와 핵심 공통관계 ID를 원-핫 특성으로 삽입한 베이스라인보다 뛰어난 성능을 보이며, 특성 삽입보다 명시적 메모리의 우수성을 입증하였다.
• 학습된 표현 분석 결과, MAGE-RNN이 문서 전반에 걸쳐 세밀한 실체 정보를 효과적으로 인코딩하여 정확한 핵심 공통관계 해결이 가능하다는 것이 확인되었다.
• 프레임워크는 잘 일반화된다: BiDAF의 GRU 유닛을 MAGE-GRU로 교체하면 일관된 성능 향상이 나타나, 다양한 아키텍처 간의 호환성과 효과성을 확인한다.