[논문 리뷰] A Comparison of Approaches to Document-level Machine Translation

Zhiyi Ma, Sergey Edunov외 1명|arXiv (Cornell University)|2021. 01. 26.

Natural Language Processing Techniques참고 문헌 40인용 수 7

한 줄 요약

이 논문은 다양한 문서 수준 기계 번역 접근법을 평가하며, 단순한 방법—단일 언어 문서 데이터의 역번역—이 복잡하고 계산 비용이 큰 모델들인 DocRepair 및 NoisyChannelDoc보다도 자동 평가 지표와 인간 평가에서 동등하거나 뛰어난 성능을 보임을 발견한다. 주요 기여는 향후 연구를 위한 강력하고 효율적인 기준으로 문서 수준 단일 언어 데이터의 역번역을 확립하는 것이다.

ABSTRACT

Document-level machine translation conditions on surrounding sentences to produce coherent translations. There has been much recent work in this area with the introduction of custom model architectures and decoding algorithms. This paper presents a systematic comparison of selected approaches from the literature on two benchmarks for which document-level phenomena evaluation suites exist. We find that a simple method based purely on back-translating monolingual document-level data performs as well as much more elaborate alternatives, both in terms of document-level metrics as well as human evaluation.

연구 동기 및 목표

• 표준화된 벤치마크에서 최신 문서 수준 기계 번역 접근법을 체계적으로 비교하기 위해.
• 특히 역번역을 포함한 단일 언어 데이터 증강 기법의 효과를 평가하여 문서 수준 일관성 향상 여부를 검토하기 위해.
• 복잡한 아키텍처와 디코딩 알고리즘의 성능 향상이 단순한 데이터 증강 기반 기준보다 유의미한 성능 향상에 기여하는지 평가하기 위해.
• 문서 수준 일관성 지표와 인간 평가가 문맥 인식 번역 시스템을 문장 수준 시스템과 구분하는 데 유용한지 평가하기 위해.
• 향후 문서 수준 기계 번역 연구를 위한 강력하고 단순한 기준을 확립하기 위해.

제안 방법

• 저자는 목표 언어의 단일 언어 문서를 다시 원본 언어로 역번역하여 합성 병렬 데이터를 생성함으로써, 역번역된 단일 언어 문서 수준 데이터에 기반한 표준 시퀀스-투-시퀀스 모델을 훈련시킨다.
• 이 방법(DocBT)을 더 복잡한 접근법과 비교하며, 이는 불일치 보정을 위한 순환 번역을 사용하는 DocRepair 및 문서 수준 언어 모델을 사용하는 신경 노이즈 채널 모델링인 NoisyChannelDoc를 포함한다.
• 평가에는 표준 BLEU 점수, 문서 수준 일관성 지표(예: 대명사 공호) 및 100개의 무작위로 추출된 테스트 예제에 대한 인간 선호도 평가가 포함된다.
• 연구는 두 가지 벤치마크 데이터셋을 사용한다: WMT17 영어-독일어 및 대조적 문장 선택 테스트 세트.
• 결과는 BLEU 점수, 전방 번역 테스트 세트에서의 BLEU 및 인간 평가와의 상관관계 문제를 완화하기 위한 역방향 BLEU를 포함한 여러 지표에서 분석된다.
• 인간 평가는 DocBT와 문장 수준 기준(Sent) 및 더 복잡한 모델(NoisyChannelDoc) 간의 선호도를 중점적으로 다룬다.

실험 결과

연구 질문

• RQ1 단일 언어 문서 수준 데이터의 역번역이 복잡하고 특수 설계된 아키텍처와 비교해도 경쟁 가능한 문서 수준 번역 성능을 제공하는가?
• RQ2 문서 수준 일관성 지표와 인간 평가가 문맥 인식 모델과 문장 수준 모델을 구분하는 데 얼마나 효과적인가?
• RQ3 추가적인 단일 언어 데이터와 복잡한 디코딩 전략이 단순한 데이터 증강 기반 기준을 초월해 성능 향상에 기여하는가?
• RQ4 특히 전방 번역 테스트 세트에서 BLEU가 문서 수준 번역 평가에 신뢰할 수 있는 지표인가?
• RQ5 NoisyChannelDoc 및 DocRepair와 같은 더 복잡한 모델보다도 단순하고 효율적인 방법인 DocBT가 인간 선호도 평가에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 역번역된 단일 언어 문서 수준 데이터를 사용하는 DocBT 방법은 WMT17 영어-독일어 번역에서 NoisyChannelDoc 및 DocRepair와 같은 더 복잡한 모델과 비교해도 유사하거나 뛰어난 BLEU 점수를 기록했다.
• 대조적 대명사 선택 작업에서 DocBT는 일관성 점수 0.81을 기록했으며, 문장 수준 기준(0.50)을 뛰어나고 DocRepair(0.80)와 동등한 성능을 보였다.
• 인간 선호도 평가에서 DocBT는 문장 수준 기준보다 유의미하게 더 선호되었으며(p=0.05), 첫 번째 평가에서 62%의 평가자가 DocBT를 선호했고, 두 번째 평가에서는 60%가 선호했다.
• Doc2Doc 모델에 단일 언어 문서 데이터를 추가한 (Doc2Doc + DocBT) 모델은 성능 향상을 보였지만, 추가적인 단일 언어 데이터는 DocBT의 기본 성능를 초월하지 못했다.
• NoisyChannelDoc는 일관성 지표에서 성능이 열등했으며(0.62), 인간 평가에서도 열등한 성능(32% 선호도)을 보여, 문장 수준 모델에서 생성한 n개의 최선의 후보 목록의 한계를 보여주었다.
• 독일어-영어 newstest2019에서의 역방향 BLEU 점수는 DocBT 및 DocBT + Doc2Doc가 가장 높은 점수를 기록하여, 표준 BLEU가 신뢰도가 낮은 전방 번역 데이터에서 강력한 성능을 보임을 확인했다.