[논문 리뷰] Neural Transformation Machine: A New Architecture for Sequence-to-Sequence Learning.

Fandong Meng, Zhengdong Lu외 3명|arXiv (Cornell University)|2015. 06. 22.

Natural Language Processing Techniques참고 문헌 17인용 수 9

한 줄 요약

Neural Transformation Machine (NTram)은 입력 시퀀스에서 출력 시퀀스로 비선형 변환을 수행하기 위해 학습 가능한 읽기/쓰기 연산을 갖춘 스택된 메모리 레이어를 사용하는 새로운 시퀀스-투-시퀀스 아키텍처이다. 작은 어휘와 보통의 파라미터로도 Moses와 같은 어휘 기반 시스템과 비교할 만한 성능을 달성하면서도 확장성이 있으며, 이전 최고 성능 모델들을 특수 케이스로 포함할 수 있다.

ABSTRACT

We propose Neural Transformation Machine (NTram), a novel architecture for sequence-to-sequence learning, which performs the task through a series of nonlinear transformations from the representation of the input sequence (e.g., a Chinese sentence) to the final output sequence (e.g., translation to English). Inspired by the recent Neural Turing Machines [8], we store the intermediate representations in stacked layers of memories, and use read-write operations on the memories to realize the nonlinear transformations of those representations. Those transformations are designed in advance but the parameters are learned from data. Through layer-by-layer transformations, NTram can model complicated relations necessary for applications such as machine translation between distant languages. The architecture can be trained with normal back-propagation on parallel texts, and the learning can be easily scaled up to a large corpus. NTram is broad enough to subsume the state-of-the-art neural translation model in [2] as its special case, while significantly improves upon the model with its deeper architecture. Remarkably, NTram, being purely neural network-based, can achieve performance comparable to the traditional phrase-based machine translation system (Moses) with a small vocabulary and a modest parameter size.

연구 동기 및 목표

• 기계 번역과 같은 작업에서 복잡한 언어 관계를 모델링할 수 있는 새로운 시퀀스-투-시퀀스 아키텍처를 설계하기 위해.
• 학습 가능한 읽기/쓰기 연산을 갖춘 계층적 메모리 유닛을 통해 더 깊고 표현력 있는 표현을 가능하게 하기 위해.
• 작은 어휘와 제한된 파라미터로도 기존의 Moses와 같은 전통적 시스템과 경쟁 가능한 성능을 달성하기 위해.
• 표준 역전파 알고리즘을 사용하여 대규모 평행 코퍼스에서 훈련이 가능한 확장 가능한 훈련 프레임워크를 제공하기 위해.
• 더 깊은 메모리 레이어를 통해 기존 최고 성능 신경 번역 모델의 아키텍처를 확장함으로써 이를 일반화하기 위해.

제안 방법

• NTram은 입력 시퀀스의 중간 표현을 저장하기 위해 스택된 메모리 레이어를 사용한다.
• 이 메모리 레이어에 대해 학습 가능한 읽기 및 쓰기 연산을 통해 사전 정의된 비선형 변환을 적용한다.
• 변환 파라미터는 평행 텍스트 데이터에서 표준 역전파를 사용하여 종단 간(end-to-end)으로 훈련된다.
• 이 아키텍처는 이전 모델보다 더 깊은 표현을 가능하게 하여 복잡한 다국어 간 의존성 모델링이 가능하다.
• 깊이가 감소할 경우 기존 최고 성능 신경 번역 모델을 특수 케이스로 포함할 수 있도록 설계되어 있다.
• 메모리 메커니즘은 신경 터닝 머신(Neural Turing Machines)에서 영감을 받아, 시퀀스 처리 중 동적으로 정보를 다룰 수 있게 한다.

실험 결과

연구 질문

• RQ1 더 깊고 메모리 증강된 신경 아키텍처는 원거리 언어 번역을 위한 시퀀스-투-시퀀스 모델링을 향상시킬 수 있는가?
• RQ2 제한된 파라미터를 가진 순수 신경 모델이 기존의 전통적 어휘 기반 시스템의 성능을 어느 정도 따라할 수 있는가?
• RQ3 학습 가능한 읽기/쓰기 연산을 갖춘 스택된 메모리 레이어는 시퀀스 모델링에서 표현 학습을 어떻게 향상시키는가?
• RQ4 표준 역전파를 사용하여 대규모 평행 코퍼스에서 제안된 아키텍처를 효율적으로 훈련시킬 수 있는가?
• RQ5 이 모델은 기존 최고 성능 신경 번역 모델을 어떻게 일반화하거나 확장하는가?

주요 결과

• NTram은 작은 어휘와 보통의 파라미터 수를 사용함에도 불구하고 Moses와 같은 어휘 기반 시스템과 비교할 만한 성능을 달성한다.
• 모델은 확장 가능하며 표준 역전파를 사용하여 대규모 평행 코퍼스에서 효율적으로 훈련될 수 있다.
• 깊이가 단일 레이어로 감소할 경우, NTram은 [2]에서 제시한 최고 성능 신경 번역 모델을 특수 케이스로 포함한다.
• NTram의 더 깊은 아키텍처는 시퀀스-투-시퀀스 작업에서 복잡한 언어 관계를 더 잘 모델링할 수 있게 한다.
• 스택된 메모리 레이어에 대한 학습 가능한 읽기/쓰기 연산을 사용함으로써 비선형 변환을 효과적으로 포착할 수 있다.
• 이 아키텍처는 외부 언어 모델이나 대규모 어휘 사전에 의존하지 않고도 경쟁 가능한 성능을 달성할 수 있음을 보여준다.