[논문 리뷰] QuickEdit: Editing Text & Translations via Simple Delete Actions.

David Grangier, Michael Auli|arXiv (Cornell University)|2017. 11. 13.

Natural Language Processing Techniques인용 수 10

한 줄 요약

QuickEdit는 사용자가 삭제할 토큰을 표시함으로써 간단한 삭제 조작을 사용하여 텍스트 및 번역 편집을 위한 신경 시퀀스-투-시퀀스 프레임워크를 제안한다. 사용자는 교체할 토큰을 표시하고, 모델은 해당 단어들을 회피하는 재구성된 문장을 생성한다. WMT-14 영어-독일어 번역 후편집에서 BLEU 점수를 +11.4점 상승시켰으며, 25.2에서 36.6으로 향상되었고, 기준 모델보다 +5.9 BLEU 점수를 확보하여 최소한의 편집 노력으로도 뛰어난 성능을 달성한다.

ABSTRACT

We propose a framework for computer-assisted text editing. It applies to translation post-editing and to paraphrasing and relies on very simple interactions: a human editor modifies a sentence by marking tokens they would like the system to change. Our model then generates a new sentence which reformulates the initial sentence by avoiding the words from the marked tokens. Our approach builds upon neural sequence-to-sequence modeling and introduces a neural network which takes as input a sentence along with deleted token markers. Our model is trained on translation bi-text by simulating post-edits. Our results on post-editing for machine translation and paraphrasing evaluate the performance of our approach. We show +11.4 BLEU with limited post-editing effort on the WMT-14 English-German translation task (25.2 to 36.6), which represents +5.9 BLEU over the post-editing baseline (30.7 to 36.6).

연구 동기 및 목표

• 기계 번역에서 인간의 후편집 노력 감소를 위해 간단하고 정확한 편집을 가능하게 하기 위해.
• 최소한의 사용자 간섭을 통해 어휘 재구성 및 번역 품질 향상하기 위해.
• 표시된 토큰을 피하는 방식으로 재구성된 문장을 생성하는 신경 모델 개발하기 위해.
• 병렬 번역 데이터에서 시뮬레이션된 후편집을 통해 모델을 훈련하기 위해.
• 프레임워크를 번역 후편집 및 어휘 재구성 작업 모두에서 평가하기 위해.

제안 방법

• 모델은 삭제할 토큰이 표시된 입력 문장을 조건으로 하는 시퀀스-투-시퀀스 아키텍처를 사용한다.
• 모델은 원본 문장과 삭제 마커를 모두 입력으로 사용하는 신경망을 활용한다.
• 모델은 원문 문장의 토큰을 무작위로 마스킹하고, 해당 마스킹에 대응하는 재구성 문장을 생성함으로써 병렬 단어 및 번역 데이터에서 훈련된다.
• 의미를 유지하면서 삭제된 단어를 피하는 새로운 문장을 생성함으로써 재구성(reformulation)을 달성한다.
• 생성 과정에서 관련된 맥락에 집중하기 위해 어텐션 메커니즘을 활용한다.
• 훈련 데이터는 원본 문장의 토큰을 무작위로 마스킹하고, 해당 마스킹에 대응하는 재구성 문장을 생성함으로써 구성된다.

실험 결과

연구 질문

• RQ1 간단한 삭제 조작이 기계 번역의 후편집 노력에 상당한 감소 효과를 줄 수 있는가?
• RQ2 토큰 삭제 이후 신경 모델이 의미 있는 재구성 문장을 얼마나 효과적으로 생성하는가?
• RQ3 제안된 방법이 표준 후편집 기준 모델보다 BLEU 점수 향상에 기여하는가?
• RQ4 이 프레임워크는 번역을 초월한 어휘 재구성 작업으로 일반화될 수 있는가?
• RQ5 텍스트 재구성에서 편집 노력과 출력 품질 사이의 상충 관계는 어떠한가?

주요 결과

• QuickEdit는 WMT-14 영어-독일어 번역 작업에서 BLEU 점수를 +11.4점 상승시켰으며, 25.2에서 36.6으로 향상되었다.
• 기준 후편집 모델보다 +5.9 BLEU 점수를 확보하였으며, 이는 30.7에서 36.6으로 향상된 결과였다.
• 사용자가 삭제할 토큰을 표시하는 것 외에 최소한의 인간 입력으로도 고품질의 텍스트 재구성 가능하다.
• 모델은 번역 후편집 및 어휘 재구성 작업 모두에 효과적으로 일반화된다.
• 단순하고 직관적인 사용자 상호작용만으로도 강력한 성능 향상을 보였다.
• 결과는 표적적 삭제 기반 편집이 텍스트 생성 및 보완에 효과적이고 효율적인 접근법임을 확인시켰다.