[논문 리뷰] Trainable Greedy Decoding for Neural Machine Translation

Jiatao Gu, Kyunghyun Cho외 1명|arXiv (Cornell University)|2017. 02. 08.

Natural Language Processing Techniques참고 문헌 33인용 수 14

한 줄 요약

이 논문은 신경 기계 번역에서 학습 가능한 탐욕적 복호화를 제안하며, 작은 신경망 액터가 디코더의 은닉 상태를 관찰하고 수정함으로써 번역 품질을 향상시키는 방식을 제안한다. 비평가를 고려한 결정적 정책 그래디언트를 통해 훈련되며, BLEU나 난이도와 같은 목표 복호화 목적을 최대화하면서 최소한의 계산 부담으로 표준 탐욕적 복호화나 빔 검색을 능가한다. 두 개의 목적에 대해 네 개의 언어 쌍에서 성능 향상을 보였다.

ABSTRACT

Recent research in neural machine translation has largely focused on two aspects; neural network architectures and end-to-end learning algorithms. The problem of decoding, however, has received relatively little attention from the research community. In this paper, we solely focus on the problem of decoding given a trained neural machine translation model. Instead of trying to build a new decoding algorithm for any specific decoding objective, we propose the idea of trainable decoding algorithm in which we train a decoding algorithm to find a translation that maximizes an arbitrary decoding objective. More specifically, we design an actor that observes and manipulates the hidden state of the neural machine translation decoder and propose to train it using a variant of deterministic policy gradient. We extensively evaluate the proposed algorithm using four language pairs and two decoding objectives and show that we can indeed train a trainable greedy decoder that generates a better translation (in terms of a target decoding objective) with minimal computational overhead.

연구 동기 및 목표

• 모델 아키텍처와 훈련 기술의 급격한 발전에도 불구하고, 신경 기계 번역에서 복호화 문제의 탐색이 부족한 문제를 해결하기 위해.
• 기본 모델을 재학습하지 않고도 임의의 복호화 목적을 최적화할 수 있는 일반적인, 학습 가능한 복호화 알고리즘을 개발하기 위해.
• 표준 탐욕적 복호화나 빔 검색을 넘어서 동적 복호화 전략을 학습함으로써 번역 품질을 향상시키기 위해.
• 작은 액터를 훈련시켜 최소한의 계산 비용으로 효율적인 추론을 가능하게 하기 위해.

제안 방법

• 학습된 신경 기계 번역 디코더의 은닉 상태를 관찰하고 조작하는 학습 가능한 액터 네트워크를 사용한다.
• 특히 비평가를 고려한 액터 학습 방식인 결정적 정책 그래디언트의 변종을 사용하여, 목표 복호화 목적을 최대화하도록 액터를 훈련시킨다.
• 비평가가 액터가 취한 행동의 기대 수익을 추정함으로써 안정적인 정책 최적화를 가능하게 한다.
• 주 번역 모델을 재학습하지 않고도 훈련 후 적용이 가능하다.
• 액터는 작고 얕은 구조이므로 추론 시 계산 부담이 최소한이다.
• 이 방법은 순환 디코더를 갖는 모든 시퀀스 모델링 작업에 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 표준 탐욕적 복호화나 빔 검색을 넘어서 번역 품질을 향상시키기 위해 학습 가능한 복호화 알고리즘이 학습 가능한가?
• RQ2 특정 목적(예: BLEU 또는 난이도)을 최적화하도록 복호화기를 훈련시키면 번역 출력에 측정 가능한 향상이 이루어지는가?
• RQ3 작은 액터 네트워크가 학습된 모델의 은닉 상태를 효과적으로 조작하여 복호화를 향상시킬 수 있는가?
• RQ4 비평가를 고려한 액터 학습 방법은 안정적이고 효과적이어서 다수의 언어 쌍에서 16개의 액터를 성공적으로 훈련시킬 수 있는가?
• RQ5 훈련된 액터는 탐욕적 복호화뿐 아니라 빔 검색 성능까지도 향상시킬 수 있는가?

주요 결과

• BLEU나 음의 난이도를 최적화하도록 훈련한 학습 가능한 탐욕적 복호화는 이 두 지표에서 뚜렷한 향상을 보였으며, 이는 방법의 효과성을 확인한다.
• 문장 수준의 BLEU를 최적화하도록 훈련한 경우, BLEU 점수는 향상되었지만 난이도는 종종 악화되었고, 반대로 난이도 최적화를 위해 훈련한 경우는 반대로 나타났다. 이는 목적에 특화된 최적화가 성립함을 입증한다.
• 비록 빔 검색과 함께 사용되었더라도, 훈련된 액터는 통계적으로 유의미한 BLEU 향상을 보였으며, 결과 표에서 빨간 별표로 표시되었다.
• 액터 네트워크의 크기가 작고, 훈련 후 비평가를 제거했기 때문에 계산 부담이 거의 없었다.
• 비평가를 고려한 액터 학습은 훈련을 안정화시켜, 여덟 개의 언어 쌍 방향에서 16개의 액터를 성공적으로 훈련시켰다.
• 수동 분석 결과, 액터는 전치사 수정과 불필요한 토큰 생성 방지를 중심으로 작동함을 확인했으며, 이는 복호화 과정에서 의미 있는 간섭을 수행하고 있음을 시사한다.