[논문 리뷰] Nearest Neighbor Machine Translation

Urvashi Khandelwal, Angela Fan외 3명|arXiv (Cornell University)|2020. 10. 01.

Natural Language Processing Techniques참고 문헌 42인용 수 19

한 줄 요약

이 논문은 의미적 표현을 사용하여 대규모 정적 데이터베이스에서 관련 번역 예제를 검색함으로써 사전 학습된 신경 기계 번역 모델을 향상시키는 비모수적 방법인 k-Nearest Neighbor 기계 번역(kNN-MT)을 소개한다. 빌리온 개의 캐시된 예제에 대한 최근접 이웃 분류기와 모델의 출력을 조합함으로써, kNN-MT는 미세조정 없이도 도메인 외부 데이터에서 최대 9.2 BLEU, 다국어 적응에서는 3 BLEU까지 번역 품질을 향상시킨다.

ABSTRACT

We introduce $k$-nearest-neighbor machine translation ($k$NN-MT), which predicts tokens with a nearest neighbor classifier over a large datastore of cached examples, using representations from a neural translation model for similarity search. This approach requires no additional training and scales to give the decoder direct access to billions of examples at test time, resulting in a highly expressive model that consistently improves performance across many settings. Simply adding nearest neighbor search improves a state-of-the-art German-English translation model by 1.5 BLEU. $k$NN-MT allows a single model to be adapted to diverse domains by using a domain-specific datastore, improving results by an average of 9.2 BLEU over zero-shot transfer, and achieving new state-of-the-art results -- without training on these domains. A massively multilingual model can also be specialized for particular language pairs, with improvements of 3 BLEU for translating from English into German and Chinese. Qualitatively, $k$NN-MT is easily interpretable; it combines source and target context to retrieve highly relevant examples.

연구 동기 및 목표

• 외부 캐시된 예제를 활용하여 미세조정 없이 신경 기계 번역 성능을 향상시키는 것.
• 도메인 특화 데이터베이스를 사용하여 단일 사전 학습된 모델을 도메인 적응 및 다국어 특화에 활용할 수 있도록 하는 것.
• 가장 가까운 이웃 검색 결정 과정을 보이는 관련 훈련 예제를 통해 모델의 해석 가능성 향상.
• 생성 작업에서 높은 표현력을 확보하기 위해 빌리온 개의 키-밸류 쌍으로 최근접 이웃 검색을 스케일링하는 것.

제안 방법

• 이 방법은 사전 학습된 신경 MT 모델을 사용하여 소스 시퀀스 및 부분적인 타겟 시퀀스의 맥락 표현을 계산한다.
• 데이터베이스는 사전에 구성되며, 키는 디코더 표현 f(s, t_{1:i-1})이고, 값은 실제 타겟 토큰 t_i인 키-밸류 쌍을 저장한다.
• 추론 시, 현재 맥락 표현을 사용하여 데이터베이스에 쿼리하여 코사인 유사도 기반으로 k개의 최근접 이웃을 검색한다.
• 온도 조정을 적용한 소프트맥스를 사용하여 k개의 검색된 이웃에서 타겟 토큰에 대한 분포를 계산한다.
• 최종 예측은 신경 모델의 출력과 kNN 분포 사이의 가중치 조합이다.
• 이 방법은 추가 학습이 필요 없으며, 어떤 사전 학습된 MT 모델에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 대규모 정적 데이터베이스에서 최근접 이웃 검색이 미세조정 없이 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 kNN-MT는 도메인 특화 데이터베이스를 사용하여 단일 모델을 도메인 외부 또는 자원이 적은 도메인에 효과적으로 적응시킬 수 있는가?
• RQ3 맥락 표현 기반의 토큰 수준 검색이 문장 수준 검색보다 더 관련성이 높은 예제를 제공하는가?
• RQ4 kNN-MT는 재학습 없이도 특정 언어 쌍에 대해 다국어 모델의 성능을 향상시킬 수 있는가?

주요 결과

• kNN-MT는 사전 학습된 독일어-영어 번역 모델의 성능을 향상시켜 미세조정 없이도 1.5 BLEU 향상되었다.
• 도메인 특화 데이터베이스를 사용하여 도메인 외부 도메인에 적응시킬 경우, kNN-MT는 제로샷 전이 대비 평균 9.2 BLEU 향상되었다.
• 다국어 모델의 경우, 언어 쌍 전용 데이터베이스를 사용하여 영어에서 독일어 및 중국어 번역 성능을 각각 3 BLEU 향상시켰다.
• 검색 결과는 맥락적으로 매우 관련성이 있으며, 서브워드 표현을 효과적으로 활용하는 예시들이 관찰되었고, 예를 들어 분할된 서브워드에 의해 나누어진 명칭 엔터티를 재구성하는 데 성공했다.
• 이 방법은 해석 가능성이 있으며, 검색된 예제들이 직접 보이고 예측에 의미 있게 기여한다.