[논문 리뷰] Correct-and-Memorize: Learning to Translate from Interactive Revisions

Rongxiang Weng, Hao Zhou외 4명|arXiv (Cornell University)|2019. 07. 08.

Natural Language Processing Techniques참고 문헌 32인용 수 9

한 줄 요약

이 논문은 번역 효율성과 품질을 햖스키기 위해 이중 방향 문장 수정과 과거 수정 기록 기억 기능을 갖춘 새로운 상호작용 신경 기계 번역 프레임워크인 CAMIT을 제안한다. 인간 사용자가 문장 어디에서든 핵심 오류를 수정할 수 있도록 허용하고, 순차적 이중 방향 디코더를 통해 관련 오류를 자동으로 수정함으로써, CAMIT은 최대 50%까지 수정 횟수를 줄이고 이상 설정에서는 BLEU 점수를 17점 향상시키며 실제 설정에서는 8점 향상시키며, 학습된 수정 기억 메커니즘을 통해 UNK 토큰 비율도 16.1% 감소시킨다.

ABSTRACT

State-of-the-art machine translation models are still not on par with human translators. Previous work takes human interactions into the neural machine translation process to obtain improved results in target languages. However, not all model-translation errors are equal -- some are critical while others are minor. In the meanwhile, the same translation mistakes occur repeatedly in a similar context. To solve both issues, we propose CAMIT, a novel method for translating in an interactive environment. Our proposed method works with critical revision instructions, therefore allows human to correct arbitrary words in model-translated sentences. In addition, CAMIT learns from and softly memorizes revision actions based on the context, alleviating the issue of repeating mistakes. Experiments in both ideal and real interactive translation settings demonstrate that our proposed \method enhances machine translation results significantly while requires fewer revision instructions from human compared to previous methods.

연구 동기 및 목표

• 단방향 상호작용 NMT 모델이 여러 차례 수정이 필요하고 수정 위치 왼쪽의 오류를 수정할 수 없는 비효율성을 해결하기 위해.
• 과거 인간 수정 사례를 학습하여 유사한 논의나 도메인 맥락에서 반복적인 번역 오류를 줄이기 위해.
• 사용자가 문장 어디에서든 가장 중요한 오류를 먼저 수정할 수 있도록 해 상호작용 번역 효율성을 향상시키기 위해.
• 이중 방향 디코딩과 단어 및 문장 수준의 수정 기억이라는 이중 메커니즘을 통해 번역 품질을 향상시키기 위해.
• 이deal 및 실제 상호작용 환경에서 번역 출력 품질을 유지하거나 향상시키면서 인간의 수정 노력 최소화하기 위해.

제안 방법

• CAMIT은 각 인간 수정 후 전체 문장을 업데이트하는 순차적 이중 방향 디코더를 사용하여 수정된 단어의 좌우에 있는 오류를 자동으로 수정할 수 있도록 한다.
• 모델은 과거의 단어 수준 수정을 저장하고 검색하는 키-밸류 수정 기억 메커니즘을 사용하여 유사한 실수의 재발을 방지한다.
• 문장 수준에서는 이전에 수정된 문장들에 대해 온라인 학습을 통해 기본 NMT 모델을 조정하여 특정 논의나 도메인 맥락에 적응시킨다.
• 이 프레임워크는 이전의 왼쪽에서 오른쪽 순서 프로토콜이 사용자 상호작용을 왼쪽 가장자리 오류로 제한하는 것과 달리, 임의의 위치에서 수정을 허용함으로써 인간 피드백을 통합한다.
• 인퍼런스 중에 수정 기억이 동적으로 업데이트되어 모델이 수정 사례를 '기억'하고 유사한 미래 문장에 적용할 수 있도록 한다.
• 단어 수준의 기억과 문장 수준의 적응을 결합하여 희귀어 및 도메인 전문 용어에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 상호작용 NMT에서 이중 방향 디코딩 전략이 단방향 방법에 비해 필요한 인간 수정 횟수를 줄일 수 있는가?
• RQ2 학습된 수정 기억 메커니즘이 유사 맥락에서 동일한 번역 오류의 재발을 어느 정도 줄일 수 있는가?
• RQ3 수정된 문장에 대한 온라인 퍼포트레이닝이 도메인 특화 또는 논의 일관성 있는 맥락에서 번역 품질을 어떻게 향상시키는가?
• RQ4 단어 수준의 기억과 문장 수준의 적응 조합이 번역 출력에서 UNK 토큰 비율을 낮추는 데 기여하는가?
• RQ5 제안된 방법은 실제 환경에서 인간 상호작용 노력의 현저한 감소와 함께 번역 품질을 유지하거나 향상시키는가?

주요 결과

• CAMIT은 이상적인 상호작용 환경에서 단지 두 번의 인간 수정으로 17 BLEU 점수 향상을 달성한다.
• 실제 환경에서는 문장당 평균 1.81회의 수정으로 8 BLEU 점수 향상을 달성하며 인간의 노력이 크게 줄어든다.
• 수정 기억 기능은 UNK 토큰 비율을 16.1% 감소시켜 2052에서 1723으로 줄였으며, 희귀어나 OOV 단어 처리 능력 향상을 시사한다.
• 단방향 모델이 수정 위치 왼쪽 오류를 수정할 수 없는 것과 달리, 이 모델은 수정 위치 왼쪽의 오류도 성공적으로 수정한다.
• 사례 연구 결과, 수정된 문장을 학습한 후 CAMIT은 이후 관련 논의 맥락의 문장들에서 유사 오류를 자동으로 수정하여 수정 필요성을 줄이는 것으로 나타났다.
• 제안된 방법은 BLEU 점수와 수정 효율성 측면에서 기존의 상호작용 NMT 기반 모델들을 모두 능가하며, 열등한 디코딩 및 학습 메커니즘을 보여준다.