[논문 리뷰] Guiding Neural Machine Translation with Retrieved Translation Pieces

Jingyi Zhang, Masao Utiyama외 3명|arXiv (Cornell University)|2018. 04. 07.

Natural Language Processing Techniques참고 문헌 15인용 수 19

한 줄 요약

이 논문은 유사한 소스 문장을 검색하고 재사용 가능한 번역 조각—겹치는 단어와 정렬된 n-gram—을 추출하여 신경 기계 번역(NMT)을 향상시키는 단순하고 효율적인 방법을 제안한다. 이 조각들이 포함된 NMT 출력에 보너스를 부여함으로써 성능을 햖थ, 특히 자원이 제한된 영역이나 특정 도메인 작업에서 BLEU 점수를 최대 6점 향상시키며, 추론 시간 오버헤드는 최소한으로 유지된다. 이는 모델 수정 없이도 기존 강력한 검색 기반 기반 모델보다 정확도, 속도, 단순성 면에서 뛰어나다.

ABSTRACT

One of the difficulties of neural machine translation (NMT) is the recall and appropriate translation of low-frequency words or phrases. In this paper, we propose a simple, fast, and effective method for recalling previously seen translation examples and incorporating them into the NMT decoding process. Specifically, for an input sentence, we use a search engine to retrieve sentence pairs whose source sides are similar with the input sentence, and then collect $n$-grams that are both in the retrieved target sentences and aligned with words that match in the source sentences, which we call "translation pieces". We compute pseudo-probabilities for each retrieved sentence based on similarities between the input sentence and the retrieved source sentences, and use these to weight the retrieved translation pieces. Finally, an existing NMT model is used to translate the input sentence, with an additional bonus given to outputs that contain the collected translation pieces. We show our method improves NMT translation results up to 6 BLEU points on three narrow domain translation tasks where repetitiveness of the target sentences is particularly salient. It also causes little increase in the translation time, and compares favorably to another alternative retrieval-based method with respect to accuracy, speed, and simplicity of implementation.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 저빈도 어휘 및 어구 번역 문제를 해결하기 위해.
• 목표 문장의 반복성이 두드러지는 좁은 도메인 번역 작업에서 NMT 성능을 향상시키기 위해.
• 모델 구조 수정이나 재학습 없이도 테스트 시점에 NMT를 향상시키는 검색 기반 방법을 개발하기 위해.
• 기존의 검색 기반 NMT 방법보다 더 높은 번역 정확도를 달성하면서도, 낮은 계산 비용과 간단한 구현을 유지하기 위해.

제안 방법

• 검색 엔진이 입력 문장과 어휘적 겹침 기반으로 훈련 코퍼스에서 유사한 소스-타겟 문장 쌍을 검색한다.
• 각 검색된 쌍에 대해 단어 수준의 정렬을 사용하여 겹치는 소스 단어와 그에 대응하는 타겟 n-gram을 식별하고, 이를 '번역 조각'으로 형성한다.
• 입력 문장과 검색된 소스 문장 간의 편집 거리 유사도를 기반으로 각 검색된 문장에 대해 의사 확률 점수를 계산한다.
• 의사 확률 점수에 따라 번역 조각을 가중치를 적용하여 높은 유사도 및 관련도를 가진 예제를 우선순위로 지정한다.
• NMT 모델이 입력 문장을 디코딩할 때, 수집된 번역 조각을 포함하는 출력에 추가 보너스를 적용한다.
• 모델 미세조정이나 아키텍처 변경 없이도 사전에 학습된 NMT 모델에 대해 효율적인 테스트 시점 적용이 가능하다.

실험 결과

연구 질문

• RQ1 유사한 소스 문장을 검색하는 것이 저빈도어구나 도메인 특화 어구의 NMT 성능 향상에 기여할 수 있는가?
• RQ2 모델 아키텍처를 수정하지 않고도 검색된 번역 예제를 NMT 디코딩에 효과적으로 통합할 수 있는가?
• RQ3 NMT 추론에서 검색 기반 정확도 향상과 계산 비용 사이의 상충 관계는 어떠한가?
• RQ4 기존의 검색 기반 NMT 접근법과 비교할 때 제안된 방법은 속도, 단순성, 정확도 면에서 어떻게 다른가?

주요 결과

• 이 방법은 세 가지 좁은 도메인 번역 작업(en-de, en-fr, en-es)에서 NMT 성능을 최대 6 BLEU 포인트 향상시켰다.
• 개발 세트에서, 이 방법은 en-de에서 50.61 BLEU, en-fr에서 65.03 BLEU, en-es에서 57.49 BLEU를 기록하여 기준 NMT 및 SGNMT 모델을 모두 앞섰다.
• 테스트 세트에서, 이 방법은 en-de에서 50.36 BLEU, en-fr에서 65.69 BLEU, en-es에서 57.11 BLEU를 기록하여 기준 모델 및 SGNMT보다 일관되게 성능 향상을 보였다.
• 번역 조각 수집이 가장 시간이 오래 걸리는 단계였지만, 총 번역 시간은 약간만 증가했으며, 10개의 검색 문장이 최적의 검색 크기로 나타났다.
• SGNMT보다 비교적 간단한 구현과 더 빠른 테스트 시점 속도를 유지하면서도 동등하거나 더 높은 정확도를 달성했다.
• 이 방법은 재학습이나 파라미터 업데이트가 필요하지 않기 때문에 NMT 학습 시간에 거의 영향을 주지 않았다.