[논문 리뷰] Neural Machine Translation with Monolingual Translation Memory

Deng Cai, Wang Yan외 3명|arXiv (Cornell University)|2021. 05. 24.

Natural Language Processing Techniques참고 문헌 68인용 수 16

한 줄 요약

이 논문은 번역 메모리와 학습 가능한 다국어 검색 기반의 신경 기계 번역(NMT) 프레임워크를 제안하며, 번역 품질을 향상시키기 위해 단일 언어 데이터만을 사용하여 종단 간 최적화를 가능하게 한다. 이 방법은 기존의 양방향 번역 메모리 기반 기준 모델을 능가하는 최신 성능을 달성하며, 자원이 적은 환경과 도메인 적응 설정에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Prior work has proved that Translation memory (TM) can boost the performance of Neural Machine Translation (NMT). In contrast to existing work that uses bilingual corpus as TM and employs source-side similarity search for memory retrieval, we propose a new framework that uses monolingual memory and performs learnable memory retrieval in a cross-lingual manner. Our framework has unique advantages. First, the cross-lingual memory retriever allows abundant monolingual data to be TM. Second, the memory retriever and NMT model can be jointly optimized for the ultimate translation goal. Experiments show that the proposed method obtains substantial improvements. Remarkably, it even outperforms strong TM-augmented NMT baselines using bilingual TM. Owning to the ability to leverage monolingual data, our model also demonstrates effectiveness in low-resource and domain adaptation scenarios.

연구 동기 및 목표

• 기존의 번역 메모리 기반 NMT 모델이 양방향 병렬 데이터와 비학습 가능한 검색 기반에 의존하는 한계를 해결하기 위해.
• 다양한 단일 언어 타겟 쪽 데이터를 번역 메모리로 활용할 수 있도록 훈련 데이터 범위를 확장하기 위해.
• 어휘 일치도가 아닌 번역 품질을 최적화하기 위해 학습 가능한, 종단 간 미분 가능한 메모리 검색 기반을 설계하기 위해.
• 재훈련 없이도 도메인 특화된 메모리로 모델을 적응시킬 수 있도록 자원이 적은 환경과 도메인 적응 상황을 향상시키기 위해.

제안 방법

• 공통 잠재 공간에 소스 문장과 타겟 문장을 정렬하는 듀얼 인코더 프레임워크를 사용하여 다국어 검색을 가능하게 한다.
• 메모리 검색 기반은 다중 신경망을 사용해 다국어 유사도를 기반으로 검색 점수를 계산하며, 이는 NMT 모델의 어텐션을 편향시키는 데 사용된다.
• 검색 점수는 어텐션 메커니즘에 통합되어 번역 목표 함수로부터 검색 기반으로의 기울기 전파를 가능하게 한다.
• 훈련 초반의 냉각 문제를 해결하기 위해 교차 정렬 작업을 활용한 웜스타트 전략을 적용한다.
• 재훈련 없이도 추론 시기 도메인에 맞는 메모리 소스를 전환함으로써 도메인 특화 적응이 가능하도록 프레임워크를 설계한다.
• 효율적인 벡터 검색을 위해 FAISS를 사용하여 대규모 단일 언어 메모리 뱅크에서의 빠른 추론을 지원한다.

실험 결과

연구 질문

• RQ1 병렬 소스-타겟 쌍이 필요 없이 단일 언어 타겟 쪽 데이터를 효과적으로 번역 메모리로 활용할 수 있는가?
• RQ2 학습 가능한, 종단 간 미분 가능한 메모리 검색 기반은 BM25와 같은 히우리스틱 기반 비학습 검색 방법보다 성능이 뛰어나게 되는가?
• RQ3 단일 언어 번역 메모리를 활용하면 양방향 데이터가 부족한 자원이 적은 환경에서 번역 성능이 향상되는가?
• RQ4 재훈련 없이도 추론 시기 도메인을 전환함으로써 모델을 새로운 도메인에 적응시킬 수 있는가?

주요 결과

• 제안된 모델은 양방향 번역 메모리 기반 강력한 기준 모델을 능가하며, 여러 데이터셋에서 새로운 최고 성능을 달성한다.
• 자원이 적은 환경에서는 훈련 병렬 쌍에 포함되지 않은 추가적인 단일 언어 타겟 쪽 데이터를 활용해 상당한 성능 향상을 이룬다.
• 도메인 적응이 크게 향상되었다: 다섯 개의 도메인 평균 1.85 BLEU 포인트 향상, 법률 분야에선 최대 2.57 BLEU 포인트, 의료 분야에선 2.51 BLEU 포인트 향상.
• 기본 모델 대비 추론 지연 시간은 1.36배로, 이전 최고 성능 모델(1.80배)보다 빠르며, 훈련 비용은 기준 모델과 유사하게 유지(2.62배~2.76배).
• 훈련 단계 수 측정 기준으로 기존 NMT 모델보다 수렴 속도가 더 빠르며, 최적화 효율성이 향상됨을 시사한다.
• 도메인 특화 메모리 조합을 시도했을 때 성능 향상이 뚜렷하지 않아, 도메인 외부 메모리는 덜 유용하고, 도메인 내부 메모리는 더 효과적임을 시사한다.