[논문 리뷰] Duplex Sequence-to-Sequence Learning for Reversible Machine Translation

Zaixiang Zheng, Hao Zhou외 4명|arXiv (Cornell University)|2021. 05. 07.

Natural Language Processing Techniques참고 문헌 38인용 수 10

한 줄 요약

이 논문은 단일 통합 네트워크를 사용하여 양방향 기계 번역을 가능하게 하는 공유 Transformer 아키텍처 기반의 가역 이중 시퀀스-투-시퀀스 모델인 REDER를 제안한다. 가역 잔여 연결과 비자기적 디코딩을 활용함으로써, REDER는 최신 기준 성능을 달성하며 WMT14 En-De에서 다중 작업 기반 보다 최대 1.3 BLEU 향상시켰고, 영어-일본어와 같은 거리가 먼 언어 쌍에서도 강력한 일반화 성능을 보였다.

ABSTRACT

Sequence-to-sequence learning naturally has two directions. How to effectively utilize supervision signals from both directions? Existing approaches either require two separate models, or a multitask-learned model but with inferior performance. In this paper, we propose REDER (Reversible Duplex Transformer), a parameter-efficient model and apply it to machine translation. Either end of REDER can simultaneously input and output a distinct language. Thus REDER enables reversible machine translation by simply flipping the input and output ends. Experiments verify that REDER achieves the first success of reversible machine translation, which helps outperform its multitask-trained baselines by up to 1.3 BLEU.

연구 동기 및 목표

• 기존의 다중 작업 및 사이클 학습 접근법의 한계, 특히 파라미터 간섭과 최적화되지 않은 성능을 해결하기 위해.
• 대칭적이고 가역적인 네트워크 아키텍처를 설계하여 단일 모델이 양방향 번역(원본 → 목표, 목표 → 원본)을 모두 지원함으로써 진정한 가역 기계 번역을 가능하게 하기 위해.
• 전체 재학습 없이 언어별 엔드를 조합함으로써 다국어 환경에서의 학습 및 배포 비용을 줄이기 위해.
• 다양한 언어 쌍에서 사이클 일致성과 높은 번역 품질을 유지하는 통합적이고 파라미터 효율적인 모델의 가능성 탐색을 위해.

제안 방법

• 입력 및 출력 양쪽 끝이 대칭적이며 인코딩과 디코딩이 가능한 이중 Transformer 아키텍처를 설계하여, 단일 공유 모델을 통해 가역 번역을 가능하게 하였다.
• Gomez 등(2017)의 영감을 받아, 정방향 및 역방향 전파 중에 숨겨진 상태를 정확히 역행할 수 있도록 하는 가역 잔여 연결 메커니즘을 도입하였다.
• 표준 자기적 디코딩을 완전히 비자기적(NAT) 모델링으로 대체하여 대칭성을 확보하고 정보의 이중 방향 흐름을 가능하게 하였다.
• 병행 데이터의 양방향을 동시에 학습하여 재구성 손실을 통해 사이클 일치성을 강제로 구현하였다.
• 자기적 교사 모델에서 지식 정복(KD)을 적용하여 비자기적 생성 품질을 향상시켰다.
• 언어별 엔드(예: En↔De의 De 엔드와 En↔Ja의 Ja 엔드)를 조합하여 기존에 연결되지 않은 언어 간의 제로샷 번역을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 단일 통합 신경망이 각 방향에 별도의 모델 없이 고성능의 가역 기계 번역을 달성할 수 있는가?
• RQ2 대칭적이고 가역적인 구성 요소를 가진 이중 아키텍처가 공유 파라미터를 사용하는 다중 작업 학습 대비 번역 품질과 일반화 성능에서 뛰어나게 되는가?
• RQ3 제안된 모델이 영어와 일본어처럼 어휘 겹침이 극히 적은 거리가 먼 언어 쌍에도 일반화 가능한가?
• RQ4 가역적이고 조합 가능한 설계가 다국어 번역 시스템의 학습 및 배포 비용을 어느 정도 줄일 수 있는가?
• RQ5 가역적이고 대칭적인 아키텍처에서 지식 정복(KD)의 활용이 비자기적 생성 품질 향상에 얼마나 효과적인가?

주요 결과

• REDEER는 WMT14 영어-독어 번역 벤치마크에서 다중 작업 기반 보다 최대 1.3 BLEU 향상시켜 뛰어난 성능을 입증하였다.
• WMT20 영어-일본어 번역 과제에서, 강력한 자기적 모델들과 비교해도 경쟁력 있는 결과(En-Ja: 20.0/20.7 BLEU)를 달성하여 거리가 먼 언어로의 일반화 능력을 입증하였다.
• WMT14 En-De 개발 세트에서 재구성 BLEU 점수 66.0을 기록하여 실질적으로 강력한 가역성과 사이클 일치성을 확인하였다.
• 정성적 사례 연구에서 입력 문장이 정방향 및 역방향 번역 후 정확하게 재구성되었으며, 미세한 언어적 변형 외에는 큰 차이가 없었다.
• 조합 설계 덕분에 사전에 학습된 En↔De 및 En↔Ja 모델의 엔드를 조합하여 독일어와 일본어 간의 제로샷 번역이 가능해졌으며, 이는 모듈식 확장성의 가능성을 보여주었다.
• 비자기적 추론에 빔 서치와 AT-reranking를 적용했음에도 불구하고, 학습 시 자기적 생성이 없었음에도 불구하고 고품질 출력을 달성하였다.