[논문 리뷰] Sometimes We Want Translationese

Prasanna Parthasarathi, Koustuv Sinha외 2명|arXiv (Cornell University)|2021. 04. 15.

Natural Language Processing Techniques참고 문헌 64인용 수 4

한 줄 요약

이 논문은 신경 기계 번역(NMT) 시스템이 원본 입력의 어순 변화에 대한 민감도와 충실도 사이의 상충 관계를 평가하기 위한 프레임워크를 제안한다. 새로운 왜곡 함수와 평가 지표를 사용하여, 최첨단 트랜스포머 기반 모델(Helsinki/OPUS)이 일곱 개 언어 전반에서 충실도보다는 내성적 안정성(로버스트니)을 강하게 선호하는 것으로 밝혀졌으며, 입력 어순이 변경되어도 유추 번역을 생성하는 경향이 있어 NMT 설계에서 중요한 상충 관계가 드러났다.

ABSTRACT

Rapid progress in Neural Machine Translation (NMT) systems over the last few years has been driven primarily towards improving translation quality, and as a secondary focus, improved robustness to input perturbations (e.g. spelling and grammatical mistakes). While performance and robustness are important objectives, by over-focusing on these, we risk overlooking other important properties. In this paper, we draw attention to the fact that for some applications, faithfulness to the original (input) text is important to preserve, even if it means introducing unusual language patterns in the (output) translation. We propose a simple, novel way to quantify whether an NMT system exhibits robustness and faithfulness, focusing on the case of word-order perturbations. We explore a suite of functions to perturb the word order of source sentences without deleting or injecting tokens, and measure the effects on the target side in terms of both robustness and faithfulness. Across several experimental conditions, we observe a strong tendency towards robustness rather than faithfulness. These results allow us to better understand the trade-off between faithfulness and robustness in NMT, and opens up the possibility of developing systems where users have more autonomy and control in selecting which property is best suited for their use case.

연구 동기 및 목표

• NMT 시스템이 원본 입력의 충실도를 우선시하는지, 특히 어순 변화와 같은 입력 왜곡에 대한 내성적 안정성을 우선시하는지 조사하기.
• 시니크 분석, 언어 학습, 시와 같은 구조 유지가 번역의 유창성보다 더 중요한 경우를 특정하기.
• NMT 출력의 충실도와 내성적 안정성을 정량화하기 위한 새로운 지표와 왜곡 함수 개발 및 검증하기.
• 현재 최첨단(NMT) 모델가 내성적 안정성에 강한 편향을 보이며, 특히 영어 외 언어에서 충실도를 희생함으로써 이를 확인하기.

제안 방법

• 의존성 트리 기반, 품사 태그 기반, 무작위 재배열을 포함한 세 가지 어순 왜곡 함수를 제안하며, 모두 원본 토큰을 그대로 유지하고 삭제나 삽입 없이 수행한다.
• 두 가지 새로운 지표를 도입한다: α_E(충실도)는 원본 번역과 왜곡된 번역 간의 단어 겹침을 측정하며, β_1, β_2(내성적 안정성)는 왜곡된 입력과 원본 입력에 대한 번역 유사도를 측정한다.
• 영어에서 독일어, 프랑스어, 스페인어, 러시아어, 중국어, 일본어, 이탈리아어로 이주하는 일곱 가지 다양한 언어로 번역하기 위해 헬싱키/옵스 기반 트랜스포머 기반 NMT 모델을 사용한다.
• 16개의 고유한 왜곡 함수를 적용하고, 다양한 실험 조건에서 α_E 및 β 점수를 계산하여 모델의 행동을 평가한다.
• 번역 품질의 기준으로 BLEU 점수를 사용하고, 이를 내성적 안정성 및 충실도 지표와 연관시켜 모델 행동을 분석한다.
• 왜곡 유형, 언어 계열, 모델 성능 간의 관계를 분석하여 언어 및 왜곡 함수 간 내성적 안정성과 충실도의 패턴을 규명한다.

실험 결과

연구 질문

• RQ1 최첨단 NMT 모델이 원본 문장의 어순이 왜곡되었을 때 번역 결과를 얼마나 잘 유지하는가?
• RQ2 다양한 언어와 왜곡 유형에서 모델의 내성적 안정성과 충실도는 어떻게 비교되는가?
• RQ3 번역 품질(BLEU)과 모델의 내성적 안정성 또는 충실도 경향 간의 관계는 무엇인가?
• RQ4 어느 왜곡 함수가 NMT 모델에서 내성적 안정성 또는 충실도 행동을 가장 강하게 유도하는가?
• RQ5 NMT 시스템의 충실도와 내성적 안정성을 정량화하고 비교할 수 있는가? 이를 통해 특정 용도에 적합한 모델 선택을 안내할 수 있는가?

주요 결과

• 모든 7개의 목표 언어에서 내성적 안정성 편향이 일관되게 나타났으며, 충실도 점수(α_E)가 항상 내성적 안정성 점수(β_1)보다 낮게 나타나, 모델가 충실도보다는 내성적 안정성에 더 강하게 기울어져 있음을 시사한다.
• 일본어 번역 모델는 가장 높은 내성적 안정성(β_1)을 보였지만, 동시에 가장 낮은 충실도(α_E)를 기록하여, 입력 구조를 정규화하려는 강한 경향이 있음을 시사한다.
• 품사 기반 왜곡(예: verbAtBeginning, nounVerbSwap)에서는 내성적 안정성이 더 높게 나타나, 품사 기반 재배열이 내성적 안정성을 증가시킨다는 것을 시사한다.
• BLEU 점수와 내성적 안정성(β_1) 간의 상관관계는 높은 성능을 내는 모델일수록 입력 왜곡에도 일관된 출력을 생성할 가능성이 높다는 것을 시사한다.
• TreeMirrorIn 및 Reversed와 같은 특정 왜곡 함수는 충실도를 높였고, FunctionalShuffle는 모든 언어에서 가장 높은 내성적 안정성을 유도했다.
• 소수의 번역에서 β_1 > β인 경우가 관찰되어, 일부 경우에서 입력 어순을 재배열하면 번역 품질이 향상되는 경우가 있으며, 이는 모델의 '비자연스러움'을 진단하는 데 활용 가능할 수 있음을 시사한다.