[논문 리뷰] Guiding Non-Autoregressive Neural Machine Translation Decoding with Reordering Information

Qiu Ran, Yankai Lin외 2명|arXiv (Cornell University)|2019. 11. 06.

Natural Language Processing Techniques참고 문헌 49인용 수 17

한 줄 요약

이 논문은 재정렬 정보를 디코딩 가이드로 명시적으로 모델링하여 번역 품질을 햖스는 비자기적 신경 번역 프레임워크인 ReorderNAT을 제안한다. 소스 단어의 재정렬로부터 의사 번역을 생성하고 이를 디코더의 조건부 입력으로 사용함으로써, 다중모달성 문제를 줄이며, 최대 6배 빠른 추론 속도를 유지하면서도 자기적 모델과 비교할 만한 번역 품질을 달성한다.

ABSTRACT

Non-autoregressive neural machine translation (NAT) generates each target word in parallel and has achieved promising inference acceleration. However, existing NAT models still have a big gap in translation quality compared to autoregressive neural machine translation models due to the enormous decoding space. To address this problem, we propose a novel NAT framework named ReorderNAT which explicitly models the reordering information in the decoding procedure. We further introduce deterministic and non-deterministic decoding strategies that utilize reordering information to narrow the decoding search space in our proposed ReorderNAT. Experimental results on various widely-used datasets show that our proposed model achieves better performance compared to existing NAT models, and even achieves comparable translation quality as autoregressive translation models with a significant speedup.

연구 동기 및 목표

• 독립적인 단어 생성으로 인해 번역이 일관성 없거나 잘못될 수 있는 비자기적 NMT의 다중모달성 문제를 해결한다.
• 추론 속도를 희생시키지 않고 일단에 번역하는 비자기적 NAT 모델의 번역 품질을 향상시킨다.
• 목표 언어의 단어 순서를 소스 단어에 대응하는 재정렬 정보가 목표 단어 간의 의존성을 모델링하는 데 효과적인 대체 수단이 될 수 있는지 탐색한다.
• 재정렬 정보를 활용하여 일관되고 타당한 번역을 유도하는 단어 선택 전략을 개발한다.
• 비자기적 및 자기적 NMT 모델 간의 성능 격차를 좁히면서도 고속의 병렬 디코딩을 유지한다.

제안 방법

• 에코더와 디코더 사이에 재정렬 모듈을 도입하여 소스 단어를 목표 언어의 단어 순서로 재정렬함으로써 의사 번역을 생성한다.
• 의사 번역을 디코더의 조건부 입력으로 사용하여, 기존 NAT에서 사용하는 직접적인 소스 표현 복사 방식을 대체한다.
• 가장 가능성 높은 의사 번역을 먼저 생성한 후 이를 기반으로 목표 문장을 디코딩하는 결정적 가이드 디코딩 전략을 구현한다.
• 의사 번역을 잠재 변수로 간주하고, 그 조건부 분포를 이용해 목표 단어 선택을 가이드하는 비결정적 가이드 디코딩 전략을 도입한다.
• 표준 NMT 목표 함수를 사용하여 모델을 엔드 투 엔드로 훈련하며, 재정렬 모듈은 미분 가능하고 주 번역 작업과 함께 공동 최적화된다.
• 단어 순열의 제한된 검색 공간을 활용하여 계산 오버헤드 없이 재정렬을 효율적으로 모델링한다.

실험 결과

연구 질문

• RQ1 재정렬 정보를 명시적으로 모델링하면 비자기적 NMT에서 다중모달성 문제를 줄일 수 있는가?
• RQ2 의사 번역을 조건부 가이드로 사용하면 생성된 번역의 일관성과 정확도가 향상되는가?
• RQ3 재정렬 정보가 병렬 디코딩 중 목표 단어 간 의존성을 효과적으로 대체로 활용할 수 있는가?
• RQ4 재정렬 기반의 결정적 및 비결정적 디코딩 전략은 성능과 내구성 측면에서 어떻게 비교되는가?
• RQ5 ReorderNAT는 비자기적 및 자기적 NMT 모델 간의 성능 격차를 어느 정도 줄일 수 있는가?

주요 결과

• ReorderNAT는 다양한 벤치마크 데이터셋에서 기존의 대부분의 비자기적 NMT 모델보다 뚜렷하고 일관된 성능 향상을 달성한다.
• 특히 WMT14 En-De 및 WMT16 En-De에서 자기를적 NMT 모델과 비교할 만한 번역 품질을 달성하면서도 거의 6배 빠른 속도를 유지한다.
• 비결정적 디코딩 전략이 결정적 전략을 능가하며, 재정렬에 대한 불확실성 모델링이 내구성을 향상시킨다는 점을 시사한다.
• 재정렬 모듈은 목표 단어 간의 구조적 의존성을 효과적으로 포착하여 중복, 누락, 잘못된 단어 생성을 줄인다.
• 재정렬 모델링을 위한 경량 AT 모듈을 통합함으로써 추론 속도를 저하시키지 않고도 번역 품질을 크게 향상시켰다.
• 실증 결과는 재정렬 정보가 일단에 번역하는 비자기적 NAT에서 다중모달성 문제를 완화하는 데 필수적이라는 점을 확인한다.