[논문 리뷰] Cseq2seq: Cyclic Sequence-to-Sequence Learning

Biao Zhang, Deyi Xiong외 1명|arXiv (Cornell University)|2016. 07. 29.

Natural Language Processing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 순환 시퀀스-투-시퀀스 학습 프레임워크인 Cseq2seq를 제안하며, 이는 이전 디코딩의 은닉 상태를 반복적으로 재인코딩을 위한 초기 상태로 인코더에 피드백하여 순환 시퀀스-투-시퀀스 모델의 성능을 향상시킨다. 부분적인 목표 시퀀스를 기반으로 동적으로 번역 관련 소스 토큰을 탐지하는 순환 신경망(RNN)을 사용함으로써, Cseq2seq-II는 인코더와 디코더 간의 파rameter 공유를 통해 31% 적은 파라미터로 주목성 기반 모델과 유사한 성능을 달성한다.

ABSTRACT

The vanilla sequence-to-sequence learning (seq2seq) reads and encodes a source sequence into a fixed-length vector only once, suffering from its insufficiency in modeling structural correspondence between the source and target sequence. Instead of handling this insufficiency with a linearly weighted attention mechanism, in this paper, we propose to use a recurrent neural network (RNN) as an alternative (Cseq2seq-I). During decoding, Cseq2seq-I cyclically feeds the previous decoding state back to the encoder as the initial state of the RNN, and reencodes source representations to produce context vectors. We surprisingly find that the introduced RNN succeeds in dynamically detecting translationrelated source tokens according to the partial target sequence. Based on this finding, we further hypothesize that the partial target sequence can act as a feedback to improve the understanding of the source sequence. To test this hypothesis, we propose cyclic sequence-to-sequence learning (Cseq2seq-II) which differs from the seq2seq only in the reintroduction of previous decoding state into the same encoder. We further perform parameter sharing on Cseq2seq-II to reduce parameter redundancy and enhance regularization. In particular, we share the weights of the encoder and decoder, and two targetside word embeddings, making Cseq2seq-II equivalent to a single conditional RNN model, with 31% parameters pruned but even better performance. Cseq2seq-II not only preserves the simplicity of seq2seq but also yields comparable and promising results on machine translation tasks. Experiments on Chinese- English and English-German translation show that Cseq2seq achieves significant and consistent improvements over seq2seq and is as competitive as the attention-based seq2seq model.

연구 동기 및 목표

• 원시 순환 시퀀스-투-시퀀스 모델이 소스 및 타겟 시퀀스 간의 구조적 대응을 포착하는 데에 한계가 있음을 해결한다.
• 고정 길이의 컨텍스트 벡터로 인한 병목 현상을 해결하기 위해 디코딩 중 소스 시퀀스에 대한 동적이고 반복적인 재인코딩을 가능하게 한다.
• 부분적인 목표 시퀀스가 번역 중 소스 이해를 향상시키는 데 피드백 역할을 할 수 있는지 조사한다.
• 인코더와 디코더 간의 파라미터 공유 및 단어 임베딩 간의 공유를 통해 모델 복잡성을 감소시키고 정규화를 향상시킨다.
• 간단한 단일 조건부 RNN 아키텍처가 명시적인 주목성 메커니즘 없이도 표준 seq2seq를 초월하고 주목성 기반 모델과 경쟁할 수 있는지 보여준다.

제안 방법

• Cseq2seq-I를 제안하며, 이는 이전 디코딩 상태를 초기 은닉 상태로 사용하여 인코딩된 소스 표현을 처리하는 GRU를 사용한다.
• Cseq2seq-II를 도입하며, 각 디코딩 단계에서 디코더의 이전 은닉 상태를 반복적으로 인코더에 재투입하여 소스 시퀀스에 대한 동적 재인코딩을 가능하게 한다.
• 인코더와 디코더 RNN 간의 파라미터 공유 및 두 타겟 측 임베딩 간의 공유를 구현하여 모델 파라미터를 31% 감소시켰다.
• 표준 순환 시퀀스-투-시퀀스 학습 목표를 사용해 엔드 투 엔드로 모델을 훈련하였으며, 순환 피드백 루프 외에는 표준 seq2seq 프레임워크에 대한 아키텍처적 변경 없이 진행되었다.
• GRU의 업데이트 및 리셋 게이트를 사용해 명시적인 주목성 계산 없이도 소스와 타겟 토큰 간의 정렬 및 관련성을 암묵적으로 학습한다.
• BLEU 및 정렬 오류율(AER)과 같은 표준 지표를 사용해 중국어-영어 및 영어-독일어 번역 작업에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 순환 신경망은 순환 시퀀스-투-시퀀스 학습에서 소스-타겟 의존성을 모델링하기 위한 주목성 기반 메커니즘의 대안으로 사용될 수 있는가?
• RQ2 디코더의 은닉 상태를 인코더에 피드백함으로써 디코딩 중 소스 표현 학습이 향상되는가?
• RQ3 인코더와 디코더 간의 파라미터 공유가 모델 복잡성을 감소시키면서 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 순환 재인코딩 메커니즘이 명시적인 주목성 메커니즘 없이도 단어 정렬을 암묵적으로 학습할 수 있는가?
• RQ5 제안된 Cseq2seq 프레임워크는 원시 seq2seq 및 최첨단 주목성 기반 모델과 비교해 기계 번역 작업에서 어떻게 성능을 내는가?

주요 결과

• Cseq2seq-I는 GRU의 은닉 상태와 입력 표현만을 사용하여 각 디코딩 단계에서 번역 관련 소스 토큰을 성공적으로 탐지하며, 암묵적인 주목성 유사 행동을 보여준다.
• Cseq2seq-II는 중국어-영어 및 영어-독일어 번역 작업에서 원시 seq2seq보다 유의미하고 일관된 향상을 달성하며, BLEU 점수에서 표준 seq2seq를 능가한다.
• 모델는 인기 있는 주목성 기반 seq2seq 모델과 경쟁 가능하게 성능을 내며, 명시적인 주목성 모델링 없이도 유사하거나 더 좋은 결과를 달성한다.
• 파라미터 공유로 인해 모델 파라미터가 31% 감소했고 성능 향상까지 이뤄졌으며, 공유된 인코더-디코더 RNN이 별개의 RNN보다 더 효과적일 수 있음을 보여준다.
• GRU의 업데이트 게이트는 단어 정렬 품질과 상관관계가 있으며, 낮은 정렬 오류율(AER)을 달성함으로써 모델이 의미 있는 소스-타겟 대응 관계를 암묵적으로 학습하고 있음을 시사한다.
• 순환 피드백 메커니즘은 인코더와 디코더 간 이중 정보 흐름을 가능하게 하여 번역 진행 상황에 따라 미역역된 소스 토큰에 적응적으로 집중할 수 있도록 한다.