[논문 리뷰] Interactive-Predictive Neural Machine Translation through Reinforcement and Imitation

Tsz Kin Lam, Shigehiko Schamoni외 1명|arXiv (Cornell University)|2019. 07. 04.

Natural Language Processing Techniques참고 문헌 35인용 수 7

한 줄 요약

이 논문은 강화학습과 모방학습을 활용하여 효율적인 모델 개인화를 가능하게 하는 상호작용형 예측 신경 기계 번역 프레임워크를 제안한다. 번역 중 약한 피드백(유지/삭제 편집)과 전문가의 지시(대체 편집)를 수집함으로써, 제약 조건이 있는 비트 서치를 통해 개선된 번역을 생성하며, 두 언어 쌍에서 인간의 노력이 크게 줄어든 상태에서 준-감독 학습 성능에 가까운 성능을 달성한다.

ABSTRACT

We propose an interactive-predictive neural machine translation framework for easier model personalization using reinforcement and imitation learning. During the interactive translation process, the user is asked for feedback on uncertain locations identified by the system. Responses are weak feedback in the form of keep and delete edits, and expert demonstrations in the form of substitute edits. Conditioning on the collected feedback, the system creates alternative translations via constrained beam search. In simulation experiments on two language pairs our systems get close to the performance of supervised training with much less human effort.

연구 동기 및 목표

• 신경 기계 번역 모델의 개인화에 필요한 인간의 노력을 줄이기 위해.
• 불확실한 영역에 대한 피드백을 통해 번역 중 실시간 사용자 상호작용을 가능하게 하기 위해.
• 약한 피드백(유지/삭제)과 전문가 지시(대체 편집)를 모델 적응에 통합하기 위해.
• 수집된 사용자 피드백에 기반한 제약 조건이 있는 비트 서치를 통해 번역 품질을 향상시키기 위해.
• 상호작용 학습이 더 적은 애너테이션 노력으로 감독 학습에 가까운 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 시스템은 불확실한 번역 세그먼트를 식별하고 사용자에게 피드백을 요청한다.
• 피드백은 유지/삭제 편집(약한 피드백) 및 대체 편집(전문가 지시) 형태로 수집된다.
• 모델은 사용자 피드백에 기반하여 제약 조건이 있는 비트 서치를 사용해 대체 번역을 생성한다.
• 강화학습을 사용해 피드백 신호에 기반한 정책을 최적화한다.
• 모방학습을 통해 전문가의 대체 편집을 통합하여 모델이 더 나은 번역 전략으로 향하도록 이끈다.
• 효율성과 성능을 평가하기 위해 두 언어 쌍에서 시뮬레이션 환경에서 프레임워크를 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 약한 피드백과 전문가 지시는 최소한의 인간 입력으로 신경 기계 번역 품질을 향상시킬 수 있는가?
• RQ2 상호작용 피드백의 통합은 감독 미세조정 대비 번역 성능에 어떤 영향을 미치는가?
• RQ3 사용자 피드백에 기반한 제약 조건이 있는 비트 서치가 얼마나 높은 품질의 대체 번역을 생성할 수 있는가?
• RQ4 매우 적은 인간 애너테이션 노력으로 준-감독 학습 성능에 가까운 성능을 달성할 수 있는가?
• RQ5 강화학습과 모방학습의 조합은 번역 모델의 개인화에 얼마나 효과적인가?

주요 결과

• 상호작용형 예측 프레임워크는 감독 학습 수준의 번역 성능에 가까운 성능을 달성한다.
• 약한 피드백과 전문가 지시를 활용함으로써 인간의 애너테이션 노력이 크게 감소한다.
• 유지/삭제 및 대체 편집 형태의 사용자 피드백이 모델이 더 나은 번역을 생성하도록 효과적으로 이끈다.
• 피드백에 기반한 제약 조건이 있는 비트 서치는 고품질의 대체 번역을 생성한다.
• 최소한의 사용자 상호작용으로도 강력한 개인화 잠재력을 보여준다.
• 두 언어 쌍에서의 시뮬레이션 결과는 상호작용형 예측 접근의 효과성을 확인한다.