[논문 리뷰] A Deep Memory-based Architecture for Sequence-to-Sequence Learning

Fandong Meng, Zhengdong Lu외 3명|arXiv (Cornell University)|2015. 06. 22.

Natural Language Processing Techniques참고 문헌 25인용 수 26

한 줄 요약

이 논문은 입력 시퀀스에 대한 계층적 비선형 변환을 수행하기 위해 학습 가능한 읽기-쓰기 연산을 갖춘 스택형 메모리 레이어를 사용하는 딥 메모리 기반 아키텍처인 DeepMemory를 제안한다. 이는 기계 번역 벤치마크에서 RNNsearch를 능가하고, 더 작은 모델과 더 깊은 아키텍처로 문맥 기반 번역 시스템인 Moses와 동등한 성능을 달성한다.

ABSTRACT

We propose DEEPMEMORY, a novel deep architecture for sequence-to-sequence learning, which performs the task through a series of nonlinear transformations from the representation of the input sequence (e.g., a Chinese sentence) to the final output sequence (e.g., translation to English). Inspired by the recently proposed Neural Turing Machine (Graves et al., 2014), we store the intermediate representations in stacked layers of memories, and use read-write operations on the memories to realize the nonlinear transformations between the representations. The types of transformations are designed in advance but the parameters are learned from data. Through layer-by-layer transformations, DEEPMEMORY can model complicated relations between sequences necessary for applications such as machine translation between distant languages. The architecture can be trained with normal back-propagation on sequenceto-sequence data, and the learning can be easily scaled up to a large corpus. DEEPMEMORY is broad enough to subsume the state-of-the-art neural translation model in (Bahdanau et al., 2015) as its special case, while significantly improving upon the model with its deeper architecture. Remarkably, DEEPMEMORY, being purely neural network-based, can achieve performance comparable to the traditional phrase-based machine translation system Moses with a small vocabulary and a modest parameter size.

연구 동기 및 목표

• 구조적으로 거리가 먼 언어 간 번역에서 복잡한 장거리 의존성을 다루는 데에 한계를 가진 浅층 신경 시퀀스-시퀀스 모델의 문제를 해결하기 위해.
• 신경 타원기계(NTM)를 영감으로 삼은 깊은 아키텍처를 도입하여, 계층적 비선형 변환을 가능하게 함으로써 시퀀스 모델링의 표현 학습을 향상시키기 위해.
• 학습 가능한 읽기-쓰기 메커니즘을 갖춘 다중 메모리 레이어를 스택하여 신경 기계 번역(NMT)의 일반화 및 표현력 향상을 위해.
• 특히 장문 및 복잡한 문장에서, 구조화된 메모리 연산을 갖춘 더 깊은 아키텍처가 표준 어텐션 기반 모델보다 더 높은 성능을 낼 수 있음을 보여주기 위해.
• 복합적인 언어적 변환을 모델링하는 데에 콘텐츠 기반 및 위치 기반 혼합 주소 방식이 메모리 연산에 기여하는지 검증하기 위해.

제안 방법

• 각 레이어가 입력 시퀀스의 중간 표현을 저장하는 메모리 레이어의 스택을 사용하여, 표현의 계층적 변환을 가능하게 한다.
• 메모리에 대한 미분 가능한 읽기 및 쓰기 연산을 사용하며, 콘텐츠 기반(C-주소 방식) 및 위치 기반(L-주소 방식) 주소 방식을 통해 메모리 상태에 대한 액세스를 제어한다.
• 각 변환 레이어는 읽기-쓰기 연산을 통해 비선형 매핑을 적용하며, 시퀀스 간 데이터에 대해 백프로파게이션을 통해 엔드 투 엔드로 파라미터를 학습한다.
• 메모리 레이어 간의 크로스-레이어 읽기 및 단순 연결(짧은 경로 연결)을 지원하여 기울기 흐름과 표현의 유연성을 향상시킨다.
• 이 아키텍처는 기존 모델을 일반화한다: RNNsearch 및 어텐션 기반 NMT는 메모리 레이어 수가 적고 메모리 연산이 단순한 DeepMemory의 특수 케이스이다.
• 표준 백프로파게이션을 사용하여 대규모 병렬 코퍼스에서 학습하며, 번역 작업에서 최적의 BLEU 점수를 확보하기 위해 초모델 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 학습 가능한 읽기-쓰기 연산을 갖춘 스택형 메모리 레이어 기반의 깊은 아키텍처가, 얕은 인코더-디코더 및 어텐션 기반 모델을 넘어서 시퀀스 간 모델링 성능을 향상시킬 수 있는가?
• RQ2 메모리 기반 변환 스택의 깊이가 기계 번역에서 장문 및 복잡한 문장의 성능에 미치는 영향은 어떠한가?
• RQ3 콘텐츠 기반(C-주소 방식)과 위치 기반(L-주소 방식) 메모리 주소 방식이 언어적 변환을 모델링하는 데 기여하는 정도는 어떠한가?
• RQ4 메모리 레이어 간 크로스-레이어 읽기 및 잔여 연결 스타일 연결이 표현 학습 및 모델 일반화에 기여하는가?
• RQ5 순수하게 신경 기반의 메모리 기반 아키텍처가 더 작은 모델 크기로도 기존의 문장 기반 번역 시스템인 Moses와 유사한 성능을 낼 수 있는가?

주요 결과

• 4개의 레이어를 가진 DeepMemory(Arc-III)는 WMT 2014 영어-독어 번역 작업에서 BLEU 점수 31.03을 기록하여, RNNsearch(최고: 30.63)를 뛰어나고, 문장 기반 시스템인 Moses(31.95)와 동등한 성능을 보였다.
• 30단어가 넘는 문장에서 Arc-III는 Arc-II 대비 일관되게 1.5~2 BLEU 포인트의 우수성을 보이며, 장거리 의존성 처리 능력이 뛰어나다는 것을 입증했다.
• 중간 레이어에서 콘텐츠 기반(C-주소 방식) 읽기 연산을 사용할 경우, 구조적으로 다를 수 있는 언어 간 번역에서 성능 향상이 뚜렷하게 나타났다. 이는 Arc-II 및 Arc-III에서 관찰되었다.
• 크로스-레이어 읽기 및 단순 연결이 항상 성능 향상에 기여하며, 이를 제거하면 파라미터 수를 동일하게 유지하더라도 BLEU 점수에 명확한 감소가 발생한다.
• Arc-IV는 쓰기 작업에 오직 C-주소 방식만을 사용하지만, 일반 길이의 문장(≤40단어)에서는 RNNsearch(최고)와 유사한 성능을 보였으나, 매우 긴 문장(>60단어)에서는 성능이 열 劣하므로, 순수 C-주소 방식의 쓰기 작업에서 최적화 문제의 존재를 시사한다.
• 이 아키텍처는 RNNsearch를 특수 케이스로 포함하며, 그 일반성과 확장 가능성을 확인하였고, 스택된 메모리 변환을 통해 더 깊고 표현력 있는 모델링이 가능하다.