[논문 리뷰] Incremental Adaptation of NMT for Professional Post-editors: A User Study

Miguel Domingo, Mercedes García-Martínez외 6명|arXiv (Cornell University)|2019. 06. 21.

Natural Language Processing Techniques참고 문헌 40인용 수 11

한 줄 요약

이 연구는 전문 번역 보정자들이 실시간으로 수정한 내용에 적응하는 인크리멘탈(incremental), 온라인 학습 방식의 신경 기계 번역(NMT)을 평가한다. 이 시스템은 번역 보정 작업량을 크게 줄였고 번역 품질(hTER 및 hBLEU)을 향상시켰으며, 보정자들은 적응형 시스템이 정적 모델보다 더 효과적이고 번거로움이 적다고 평가했다.

ABSTRACT

A common use of machine translation in the industry is providing initial translation hypotheses, which are later supervised and post-edited by a human expert. During this revision process, new bilingual data are continuously generated. Machine translation systems can benefit from these new data, incrementally updating the underlying models under an online learning paradigm. We conducted a user study on this scenario, for a neural machine translation system. The experimentation was carried out by professional translators, with a vast experience in machine translation post-editing. The results showed a reduction in the required amount of human effort needed when post-editing the outputs of the system, improvements in the translation quality and a positive perception of the adaptive system by the users.

연구 동기 및 목표

• 실제 전문 번역 보정자들로부터 수집한 데이터를 활용해 NMT 시스템의 온라인, 인크리멘탈 적응이 어떤 영향을 미치는지 평가하기 위해.
• 인간의 번역 보정 데이터로부터 지속적인 학습이 산업 환경에서 번역 품질 향상과 보정 생산성 향상에 기여하는지 평가하기 위해.
• 실제 번역 워크플로우에서 적응형 NMT 시스템과 정적 모델을 비교하여 사용자 인식과 사용성에 대해 조사하기 위해.
• 도메인 전용 용어의 열악한 처리 및 서브워드 관련 단어 형성 오류와 같은 적응형 NMT에서의 실용적 과제를 특정하기 위해.
• 번역 메모리 및 용어 관리 도구와의 통합 경로를 탐색하여 보정 생산성을 향상시키기 위해.

제안 방법

• 각 문장의 번역 보정 후 즉각적으로 온라인 학습을 통해 NMT 시스템을 인크리멘탈 방식으로 업데이트하여, 새로운 병렬 데이터(원천 및 보정된 타겟)를 실시간으로 통합하였다.
• 모델은 어텐션 메커니즘을 갖춘 인코더-디코더 아키텍처를 사용하였으며, 대규모 병렬 코퍼스에서 확률적 경사 하강법으로 훈련되었다.
• 보정 세션 이후 즉각적으로 적응을 적용하여, 수정 사항이 이후 번역에 영향을 주도록 보장하였다.
• 서브워드 토크나이제이션을 위해 바이트 페어 인코딩(BPE)을 활용하였으며, 이는 'absolvido'와 같은 가짜 단어 생성 문제를 야기하였다.
• 실제 생산 환경에서 정적 모델과 적응형 NMT 시스템을 비교하기 위해 세 명의 경험이 풍부한 전문 번역 보정자들을 대상으로 사용자 연구를 실시하였다.
• 번역 품질 평가에는 hTER 및 hBLEU 지표를 사용하였고, 사용자 인식 평가는 연구 후 설문조사를 통해 수집하였다.

실험 결과

연구 질문

• RQ1 온라인 학습을 통한 NMT의 인크리멘탈 적응은 전문 워크플로우에서 정적 시스템 대비 번역 보정 작업량을 줄이는가?
• RQ2 실제 산업 번역 보정 환경에서 hTER 및 hBLEU 지표로 측정했을 때, 온라인 적응은 어떤 정도 번역 품질을 향상시키는가?
• RQ3 전문 번역 보정자들은 적응형 시스템을 정적 모델 대비 사용성, 유창성, 일관성 측면에서 어떻게 평가하는가?
• RQ4 사용자들이 적응형 NMT에서 겪는 주요 과제는 무엇인가? 예를 들어 도메인 전용 용어의 잘못된 처리나 서브워드 분할 오류 등.
• RQ5 사용자들은 번역 행동의 차이를 기반으로 정적 모델과 적응형 모델을 신뢰성 있게 식별할 수 있는가?

주요 결과

• 적응형 NMT 시스템은 번역 보정 시간과 작업량을 줄였으며, 세 명의 전문 번역 보정자 모두 더 효율적이고 번거로움이 적은 워크플로우를 경험했다고 보고하였다.
• 번역 품질 향상이 뚜렷하게 관찰되었으며, 정적 기준 대비 hTER는 감소하고 hBLEU는 증가하였다.
• 모든 번역 보정자가 연구 후 설문조사에서 적응형 시스템을 정확히 식별하였으며, 번역 일관성과 유창성 측면에서 의미 있는 차이를 느꼈다고 평가하였다.
• 보정자들은 특히 제품명, 문법, 어휘 선택에 대한 수정 사항이 이후 번역에 반영되어 반복적인 수정이 줄어들었다고 일관되게 관찰하였다.
• 사용자들은 정적 모델이 더 유창하지 못하고 가끔 유용하지 못하다고 보고하였고, 반면 적응형 모델은 더 신뢰할 만하고 도움이 된다고 인식하였다.
• 주요 기술적 문제로는 도메인 전용 용어의 잘못된 처리와 비존재하는 단어(예: 'absolvido') 생성이 제기되었으며, 이는 BPE 서브워드 분할 오류로 인한 것으로 보였다.