[논문 리뷰] Learning Coupled Policies for Simultaneous Machine Translation.

Philip Arthur, Trevor Cohn외 1명|arXiv (Cornell University)|2020. 02. 11.

Natural Language Processing Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 동시 번역을 위한 결합된 프로그래머-인터프리터 정책을 훈련하기 위한 이mitation learning 접근법을 제안한다. 여기서 프로그래머는 입력을 읽거나 출력을 쓰는 시점을 결정하고, 인터프리터는 다음 단어를 선택한다. 단어 정렬 기반의 알고리즘 오라클을 사용하여 노출 편향을 감소시키기 위해 스케줄링 샘플링을 적용하고, 다양한 언어 조합에서 번역 품질과 지연 시간 모두 최고 성능을 달성한다.

ABSTRACT

In simultaneous machine translation, the system needs to incrementally generate the output translation before the input sentence ends. This is a coupled decision process consisting of a programmer and interpreter. The programmer's policy decides about when to WRITE the next output or READ the next input, and the interpreter's policy decides what word to write. We present an imitation learning (IL) approach to efficiently learn effective coupled programmer-interpreter policies. To enable IL, we present an algorithmic oracle to produce oracle READ/WRITE actions for training bilingual sentence-pairs using the notion of word alignments. We attribute the effectiveness of the learned coupled policies to (i) scheduled sampling addressing the coupled exposure bias, and (ii) quality of oracle actions capturing enough information from the partial input before writing the output. Experiments show our method outperforms strong baselines in terms of translation quality and delay, when translating from German/Arabic/Czech/Bulgarian/Romanian to English.

연구 동기 및 목표

• 입력이 완료되기 전에 점진적으로 출력을 생성해야 하는 동시 번역의 과제를 해결하기 위해.
• 프로그래머가 읽기/쓰기 타이밍을 제어하고 인터프리터가 출력 단어를 선택하는 방식으로 결합된 의사결정 과정을 모델링하기 위해.
• 단어 정렬에서 유도된 오라클 동작을 사용하여 이러한 결합된 정책을 효과적으로 훈련하는 이mitation learning 프레임워크를 개발하기 위해.
• 훈련 중에 진짜 동작과 예측 동작을 모두 사용하여 정책을 훈련함으로써 결합된 정책 훈련 과정에서의 노출 편향을 완화하기 위해.
• 부분적인 입력으로부터 충분한 맥락을 확보하여 출력을 생성하기 전에 정보가 풍부한 의사결정을 보장하기 위해.

제안 방법

• 알고리즘 오라클이 단어 정렬 정보를 사용하여 이중 언어 문장 쌍에 대해 최적의 READ 및 WRITE 동작을 생성한다.
• 프로그래머 정책은 부분적인 입력에 기반하여 동작(입력 읽기 또는 출력 쓰기)을 선택하고, 인터프리터 정책은 다음 출력 단어를 생성한다.
• 오라클의 지도 신호를 사용하여 두 정책을 종단 간(end-to-end)으로 이mitation learning으로 훈련한다.
• 노출 편향을 줄이기 위해 스케줄링 샘플링을 도입하여 훈련 중에 진짜 동작과 예측 동작을 모두 사용한다.
• 오라클 동작은 출력을 생성하기 전에 부분 입력으로부터 충분한 맥락을 확보하도록 설계되어 있어, 정보가 풍부한 의사결정을 가능하게 한다.
• 프레임워크는 독일어, 아랍어, 체코어, 불가리아어, 루마니아어에서 영어 번역 작업에 대해 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 이mitation learning를 사용하여 동시 번역을 위한 결합된 프로그래머-인터프리터 정책을 효과적으로 훈련할 수 있는가?
• RQ2 단어 정렬 기반 오라클을 사용할 경우 저지연 번역 환경에서 정책 학습에 얼마나 기여하는가?
• RQ3 스케줄링 샘플링은 동시 번역의 결합된 의사결정 과정에서 노출 편향을 효과적으로 완화하는가?
• RQ4 오라클 동작의 품질과 훈련 전략이 번역 품질과 지연 시간에 공동으로 미치는 영향은 어떠한가?
• RQ5 다양한 언어 조합에서 강력한 베이스라인 대비 제안된 방법이 BLEU 점수와 지연 시간 측면에서 얼마나 높은 성능 향상을 보이는가?

주요 결과

• 제안된 방법은 독일어, 아랍어, 체코어, 불가리아어, 루마니아어에서 영어 번역 작업에서 BLEU 점수로 측정된 최고 수준의 번역 품질을 달성한다.
• 강력한 베이스라인 대비 번역 지연 시간을 크게 줄여, 실시간 성능 향상을 입증한다.
• 스케줄링 샘플링은 결합된 정책 훈련 과정에서 노출 편향을 효과적으로 완화하여 더 견고한 추론 성능을 이끌어낸다.
• 단어 정렬에서 유도된 오라클 동작은 부분 입력으로부터 충분한 맥락을 확보하여 적시이고 정확한 출력 생성을 가능하게 한다.
• 특히 자원이 적거나 형태가 복잡한 언어 조합에서 기존 방법보다 번역 품질과 지연 시간 양면에서 뛰어난 성능을 보인다.