[논문 리뷰] Controlling the Output Length of Neural Machine Translation

Surafel M. Lakew, Mattia Di Gangi외 1명|arXiv (Cornell University)|2019. 10. 23.

Natural Language Processing Techniques참고 문헌 36인용 수 33

한 줄 요약

이 논문은 Transformer에서 NMT 출력 길이를 제어하는 두 가지 방법을 제시한다: (1) 길이 클래스 토큰을 앞에 추가하여 길이-토큰 조건화, (2) 디코더의 위치 임베딩에 길이 인코딩; 두 방법 모두 원문보다 길지 않은 번역을 목표로 하며 BLEU와 길이 정확도에 trade-off가 있다.

ABSTRACT

The recent advances introduced by neural machine translation (NMT) are rapidly expanding the application fields of machine translation, as well as reshaping the quality level to be targeted. In particular, if translations have to fit some given layout, quality should not only be measured in terms of adequacy and fluency, but also length. Exemplary cases are the translation of document files, subtitles, and scripts for dubbing, where the output length should ideally be as close as possible to the length of the input text. This paper addresses for the first time, to the best of our knowledge, the problem of controlling the output length in NMT. We investigate two methods for biasing the output length with a transformer architecture: i) conditioning the output to a given target-source length-ratio class and ii) enriching the transformer positional embedding with length information. Our experiments show that both methods can induce the network to generate shorter translations, as well as acquiring interpretable linguistic skills.

연구 동기 및 목표

• 레이아웃 제약 MT 작업(문서, 자막, 더빙 등)에 대해 출력 길이를 제어하는 가치가 있는 이유를 제시한다.
• 두 가지 방법을 통해 Transformer NMT를 더 짧거나 더 긴 번역으로 편향시키는 방법을 조사한다.
• 길이 제어 방법이 번역 품질(BLEU) 및 길이 지표에 데이터 규모에 따라 미치는 영향을 평가한다.
• 결합된 접근 방식이 품질 손실을 최소화하면서도 제어 가능한 길이를 제공할 수 있음을 보여준다.
• 길이 제어 모델의 학습 전략(처음부터 학습 vs 미세조정)을 탐구한다.

제안 방법

• 원문을 길이 분류 토큰으로 토큰화하고 단일 모델이 모든 그룹을 처리하도록 학습하여 세 가지 길이 그룹(짧음, 일반, 길음)을 도입한다.
• 절대 길이(pos)와 상대 길이/위치의 양자화 변수를 사용하는 절대(encoded len-pos) 및 상대(len/pos) 변형을 포함하는 Transformer 디코더의 길이 인코딩을 개발한다.
• 거친 길이 제어와 미세한 길이 제어를 활용하기 위해 길이-토큰과 길이-인코딩 방법을 결합한다.
• 길이 정보를 포함하도록 사전 학습된 NMT 모델을 미세조정하여 baseline 품질과 길이 제어를 분리할 수 있도록 한다.
• En-It 및 En-De에서 BLEU 및 BLEU*를 사용하여 평가하고( brevity 보정), LR_src와 LR_ref의 평균치를 보고한다.
• 데이터 규모가 다른 작은 데이터(TED MuST-C) 및 큰 데이터 조건에서 견고성을 테스트한다.

실험 결과

연구 질문

• RQ1 Transformer NMT 모델이 품질 저하 없이 제어된 길이의 번역을 생성하도록 안내할 수 있는가?
• RQ2 길이-토큰 조건화와 길이-인코딩이 길이 제어에 보완적 이점을 제공하는가?
• RQ3 두 방법의 결합이 언어 쌍 및 데이터 규모에 따라 번역 품질과 길이 예측에 어떤 영향을 주는가?
• RQ4 미세조정 vs 처음부터 학습 시 길이 제어 접근 방식의 영향은 무엇인가?
• RQ5 출력 길이가 원문 길이(LR_src ≈ 1.0)에 얼마나 근접하게 유지되면서 BLEU 점수를 유지할 수 있는가?

주요 결과

모델	전략	BLEU	BLEU*	LR_src	LR_ref
Baseline	standard	32.33	32.33	1.05	1.03
Baseline	penalty	32.45	32.45	1.04	1.02
Training from scratch	normal	32.54	32.54	1.04	1.02
Len-Tok	short	31.62	32.90	0.97	0.95
Len-Tok	long	31.16	31.16	1.10	1.08
Len-Enc Rel	match	30.96	30.96	1.03	1.01
Len-Enc Abs	match	30.26	30.26	1.01	1.04

• 길이-토큰 조건화는 대략적인 길이 제어를 제공하며 BLEU 손실이 최소화되고 일부 언어에서 LR_src를 1.0 근처로 이끌 수 있다.
• 길이-인코딩은 더 미세한 길이 제어를 달성할 수 있지만 절대 인코딩은 잘라내기로 인해 번역 품질이 저하될 수 있으며 상대 인코딩은 중간점을 제공한다.
• 토큰+인코드 결합 방법은 짧음, 일반, 길음의 다양한 길이 스타일을 달성하고 품질 저하를 제한적으로 조정하며 목표 길이를 맞출 수 있다.
• 기준 모델에 길이 정보를 추가로 미세조정하면 BLEU를 보존하면서 원문 길이에 가까운 길이 제어를 가능하게 한다.
• 대규모 데이터 설정에서 토큰-짧음은 LR_src ≈ 1.00로 길이를 줄이는 동시에 BLEU가 언어 쌍에 따라 약 34–36 정도로 유지될 수 있으며, 일반/토큰 설정은 더 높은 BLEU를 유지한다.
• 수동 평가에 따르면 더 짧은 번역은 품질 저하가 작고 통계적으로 유의미하지만 이해 가능한 의역과 단순화 전략을 포함한다.