[논문 리뷰] Simpler and Faster Learning of Adaptive Policies for Simultaneous Translation

Baigong Zheng, Renjie Zheng외 2명|arXiv (Cornell University)|2019. 09. 04.

Natural Language Processing Techniques참고 문헌 9인용 수 4

한 줄 요약

이 논문은 병렬 텍스트에서 유도된 오라클 READ/WRITE 동작 시퀀스를 사용하여 동시 번역을 위한 적응형 정책을 훈련하기 위한 지도학습 프레임워크를 제안한다. 이는 재학습 없이도 더 빠르고 안정적인 훈련과 향상된 번역 품질을 가능하게 한다. 단일 GPU를 사용해 약 12시간 내에 훈련이 완료되며, 저지연에서 높은 BLEU 점수를 달성한다.

ABSTRACT

Simultaneous translation is widely useful but remains challenging. Previous work falls into two main categories: (a) fixed-latency policies such as Ma et al. (2019) and (b) adaptive policies such as Gu et al. (2017). The former are simple and effective, but have to aggressively predict future content due to diverging source-target word order; the latter do not anticipate, but suffer from unstable and inefficient training. To combine the merits of both approaches, we propose a simple supervised-learning framework to learn an adaptive policy from oracle READ/WRITE sequences generated from parallel text. At each step, such an oracle sequence chooses to WRITE the next target word if the available source sentence context provides enough information to do so, otherwise READ the next source word. Experiments on GermanEnglish show that our method, without retraining the underlying NMT model, can learn flexible policies with better BLEU scores and similar latencies compared to previous work.

연구 동기 및 목표

• 동시 번역을 위한 적응형 정책 훈련에서 강화학습의 불안정성과 비효율성을 해결하기 위해.
• 언어 쌍 간의 문법적 차이로 인해 향후 내용을 추측해야 하는 고정 지연 시간 정책의 한계를 극복하기 위해.
• 기본 NMT 모델을 재학습하지 않고도 민첩하고 제어 가능한 정책을 학습하는 방법을 개발하기 위해.
• 추론 시에 하나의 정책 모델이 다양한 지연 요구 사항에 적응할 수 있도록 하기 위해.
• 병렬 문장 쌍에서 고급 오라클 기반 동작 시퀀스(READ/WRITE)를 생성하여 지도학습 기반 정책 훈련을 가능하게 하기 위해.

제안 방법

• 병역된 NMT 모델을 사용하여 각 병렬 문장 쌍에 대해 오라클 동작 시퀀스(READ/WRITE)를 생성하며, 현재 소스 컨텍스트가 다음 목표 단어를 예측하기에 충분한지 여부에 따라 동작를 결정한다.
• 다음 목표 단어를 예측하기에 충분한 컨텍스트가 없을 경우 READ 동작를 정의하고, 충분한 컨텍스트가 있을 경우 WRITE 동작를 정의한다.
• 생성된 동작 시퀀스를 기반으로 교차 엔트로피 손실을 사용해 지도학습 정책 모델을 훈련하며, 현재 소스 및 목표 컨텍스트에 기반해 다음 동작을 직접 예측한다.
• 추론 시 지연 시간을 제어하기 위해, 다음 목표 단어에 대한 신뢰도 기반으로 WRITE 동작를 발행할 시점을 결정하는 임계값 ρ를 조정한다.
• 학습된 정책을 사용해 추론 시 빔 서치를 수행하며, 제어 가능성과 효율성을 유지한다.
• 기본 NMT 모델을 디코딩에 활용하여 재학습 없이도 뛰어난 성능을 달성한다.

실험 결과

연구 질문

• RQ1 강화학습 없이도 지도학습 프레임워크가 동시 번역을 위한 적응형 정책을 효과적으로 훈련시킬 수 있는가?
• RQ2 병렬 텍스트에서 유도된 오라클 기반 동작 시퀀스가 강화학습 기반 또는 히우리스틱 방법보다 더 나은 정책 학습을 이끌 수 있는가?
• RQ3 제안된 방법이 고정 지연 시간 wait-k 정책보다 더 높은 번역 품질(BLEU)과 더 낮은 지연 시간을 달성할 수 있는가?
• RQ4 재학습 없이도 하나의 정책 모델이 다양한 지연 요구 사항에 일반화할 수 있는가?
• RQ5 이 설정에서 지도학습의 훈련 안정성과 효율성은 강화학습에 비해 어떻게 비교되는가?

주요 결과

• 제안된 방법은 기존의 WIW, WID, 강화학습 기반, 그리고 추론 시 wait-k 방법보다 저지연에서 더 높은 BLEU 점수를 달성하며, 기본 NMT 모델을 재학습하지 않아도 된다.
• 강화학습보다 더 빠르고 안정적으로 수렴하며, 단일 GPU를 사용해 약 12시간 내에 훈련이 완료된다.
• 강화학습 기반 베이스라인은 8개의 GPU를 사용해 600시간 이상 소요되었으며, 이는 지도학습 접근법의 효율성 우월성을 보여준다.
• 임계값 ρ를 조정함으로써 다양한 지연 설정에서도 우수한 성능을 유지하여 복수의 모델이 필요 없게 되었다.
• 훈련 과정은 안정적이었으며, 특히 강화학습 기반 베이스라인과 달리 심각한 발산이나 불안정성이 관찰되지 않았다. 강화학습 기반 베이스라인은 가끔 높은 BLEU 점수를 기록했지만 이는 매우 높은 지연 시간을 수반했다.
• 시험 시 wait-k 모델보다 성능이 뛰어나며, 이는 이전에 작은 k 값에서 출력이 짧거나 과도한 구두점 사용 문제를 겪었던 바가 있다.