[논문 리뷰] Simultaneous Translation Policies: From Fixed to Adaptive

Baigong Zheng, Kaibo Liu외 4명|arXiv (Cornell University)|2020. 04. 27.

Natural Language Processing Techniques참고 문헌 18인용 수 6

한 줄 요약

이 논문은 모델 앙상블을 통해 번역 품질을 향상시키면서도, 여러 개의 고정 wait-$k$ 정책을 조합하여 적응형 동시 번역 정책을 생성하는 단순한 히우리스틱 방법을 제안한다. 이 방법은 동일한 지연 시간에서 고정 정책보다 최대 4 BLEU 포인트 향상시키며, 훨씬 낮은 지연 시간으로 게리 시퀀스 번역을 뛰어넘고, 비트 시드 검색 성능에 가까워진다.

ABSTRACT

Adaptive policies are better than fixed policies for simultaneous translation, since they can flexibly balance the tradeoff between translation quality and latency based on the current context information. But previous methods on obtaining adaptive policies either rely on complicated training process, or underperform simple fixed policies. We design an algorithm to achieve adaptive policies via a simple heuristic composition of a set of fixed policies. Experiments on Chinese -> English and German -> English show that our adaptive policies can outperform fixed ones by up to 4 BLEU points for the same latency, and more surprisingly, it even surpasses the BLEU score of full-sentence translation in the greedy mode (and very close to beam mode), but with much lower latency.

연구 동기 및 목표

• 고정 wait-$k$ 전략보다 더 유연한 정책을 통해 동시 번역에서 번역 품질과 지연 시간의 균형을 맞추는 데 도전한다.
• 복잡하고 시간이 오래 걸리는 학습 절차에 의존하지 않고도 번역 중 적응형 의사결정을 가능하게 하는 방법을 설계한다.
• 히우리스틱 조합과 모델 앙상블을 통해 여러 고정 정책을 조합하여 저지연 환경에서 번역 품질을 향상시킨다.
• 지연 시간을 크게 줄이며 전체 문장 비트 시드 검색 성능에 가까운 성능을 달성하면서도 실시간 실행 가능성을 유지한다.

제안 방법

• 이 방법은 모델 신뢰도 임계값 기반으로 사전에 훈련된 wait-$k$ 정책 집합(여기서 $k$는 1에서 10까지) 중에서 동적으로 선택하여 적응형 정책을 구성한다.
• 각 디코딩 단계에서 활성화된 wait-$k$ 정책 중에서 가장 높은 신뢰도(최고 확률)를 가진 정책을 선택하여 지연 시간을 동적으로 조정한다.
• 임계값 기반 히우리스틱이 정책 전환을 제어한다: $\rho_1$에서 $\rho_{10}$까지의 임계값은 공격성과 보수성을 균형 잡기 위해 설정되며, $\rho_1$가 가장 높고 $\rho_{10}$가 가장 낮다.
• 모델 앙상블은 각 정책당 상위 3개 모델의 예측을 조합하여 구현되며, 이는 강건성과 번역 품질 향상에 기여한다.
• 적응형 정책는 프리픽스-투-프리픽스 NMT 프레임워크를 통해 구현되며, 모델은 동적으로 변화하는 소스 컨텍스트 길이 기반으로 대상 토큰을 예측한다.
• 이 방법은 정책의 엔드 투 엔드 학습을 피하고, 다양한 wait-$k$ 설정에서 사전에 훈련된 모델을 활용하여 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정 wait-$k$ 정책의 단순한 히우리스틱 조합이 동시 번역에서 개별 고정 정책보다 더 높은 성능을 달성할 수 있는가?
• RQ2 제안된 적응형 정책가 게리 전체 문장 번역보다 BLEU 점수는 높이면서도 훨씬 낮은 지연 시간을 유지할 수 있는가?
• RQ3 모델 앙상블이 지연 시간을 증가시키지 않으면서도 적응형 정책 프레임워크 내에서 번역 품질을 향상시킬 수 있는가?
• RQ4 비록 지연 시간이 훨씬 낮지만, 적응형 정책의 성능이 전체 문장 비트 시드 검색 성능과 유사한가?

주요 결과

• 제안된 적응형 정책는 중국어-영어 및 독일어-영어 번역 작업 모두에서 동일한 지연 시간에서 고정 wait-$k$ 정책보다 최대 4 BLEU 포인트 향상시켰다.
• 앙상블 상위 3개 방법은 중국어-영어 번역에서 게리 전체 문장 번역보다 0.69 BLEU 포인트 높고, 독일어-영어 번역에서는 0.41 BLEU 포인트 높으며, 지연 시간은 각각 29.55에서 8.21, 28.58에서 8.77로 감소했다.
• 이 방법은 비트 시드 검색(비트 크기=10) 성능에 매우 가까운 BLEU 점수를 달성했으며, 이는 게리 디코딩을 사용하고도 훨씬 낮은 지연 시간을 유지한 덕분이었다.
• 앙상블 상위 3개 방법의 평균 토큰 추론 시간은 0.2085초였으며, 이는 중국어에서 일반적인 말하기 속도인 토큰당 0.6초보다 빠르므로 실시간 실행 가능성을 입증한다.
• 이 방법은 단순한 히우리스틱 조합을 통해 더 복잡한 학습 기반 적응형 방법보다도 뛰어난 성능을 달성할 수 있음을 보여주며, 특히 모델 앙상블과 조합했을 때 더욱 두드러진다.