[논문 리뷰] Faster Nearest Neighbor Machine Translation

Shuhe Wang, Jiwei Li외 6명|arXiv (Cornell University)|2021. 12. 15.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 신경 기계 번역에서 최근접 이웃 검색을 가속화하기 위해 계층적 군집화 기반 방법인 Faster $k$ NN-MT를 제안한다. 이 방법은 군집 중심을 통해 거리 근사를 통해 추론 시간을 표준 모델의 1.2배 수준으로 줄이며, 최신 성능을 유지한다. 이 접근법은 검색을 군집 중심과 사전 계산된 군집 내 거리로 제한함으로써 검색 속도를 크게 향상시켜, 실세계 시스템에서 $k$ NN-MT의 실용적 구현을 가능하게 한다.

ABSTRACT

$k$NN based neural machine translation ($k$NN-MT) has achieved state-of-the-art results in a variety of MT tasks. One significant shortcoming of $k$NN-MT lies in its inefficiency in identifying the $k$ nearest neighbors of the query representation from the entire datastore, which is prohibitively time-intensive when the datastore size is large. In this work, we propose extbf{Faster $k$NN-MT} to address this issue. The core idea of Faster $k$NN-MT is to use a hierarchical clustering strategy to approximate the distance between the query and a data point in the datastore, which is decomposed into two parts: the distance between the query and the center of the cluster that the data point belongs to, and the distance between the data point and the cluster center. We propose practical ways to compute these two parts in a significantly faster manner. Through extensive experiments on different MT benchmarks, we show that extbf{Faster $k$NN-MT} is faster than Fast $k$NN-MT \citep{meng2021fast} and only slightly (1.2 times) slower than its vanilla counterpart while preserving model performance as $k$NN-MT. Faster $k$NN-MT enables the deployment of $k$NN-MT models on real-world MT services.

연구 동기 및 목표

• 추론 중 대규모 데이터스토어에서 최근접 이웃을 검색하는 데 소요되는 비효율성을 해결한다.
• 고빈도 어휘에 대해 대규모 토큰 전용 데이터스토어를 가진 Fast $k$ NN-MT가 여전히 느린 문제를 해결한다.
• $k$ NN-MT의 시간 및 메모리 오버헤드를 줄이면서도 높은 번역 성능을 유지한다.
• 추론 속도와 확장성을 향상시켜 실세계 기계 번역 서비스에서 $k$ NN-MT의 실용적 구현을 가능하게 한다.

제안 방법

• 데이터스토어를 군집으로 나누기 위해 계층적 군집화를 적용하고, 각 군집을 중심점으로 표현한다.
• 쿼리와 데이터 포인트 사이의 거리를 두 부분의 합으로 근사한다: (1) 쿼리에서 군집 중심까지의 거리, (2) 데이터 포인트에서 해당 군집 중심까지의 거리.
• 모든 데이터 포인트와 그에 해당하는 군집 중심 간의 군집 내 거리를 사전에 계산하고 캐시하여 검색 속도를 향상시킨다.
• 추론 중에는 오직 가장 가까운 군집 중심들만 검색 대상으로 제한하여 거리 계산 수를 줄인다.
• 소규모의 군집 기반 데이터스토어를 원천 및 타겟 측 모두에 구축하여 메모리 사용량을 줄이고 배치 추론 효율성을 향상시킨다.
• 수집된 이웃의 확률을 집계하기 위해 온도 조정 소프트맥스를 사용하여 원래 $k$ NN-MT의 확률 캘리브레이션을 유지한다.

실험 결과

연구 질문

• RQ1 계층적 군집화를 통해 $k$ NN-MT에서 $k$-최근접 이웃 검색을 효율적으로 근사할 수 있는가? 성능 저하가 크지 않은가?
• RQ2 제안된 군집 기반 방법은 Fast $k$ NN-MT에 비해 추론 속도와 메모리 사용 측면에서 어떻게 비교되는가?
• RQ3 군집 중심을 통해 검색 공간을 얼마나 줄일 수 있으며, 번역 품질은 유지되는가?
• RQ4 긴 입력 시퀀스와 고빈도 토큰을 가진 대규모 실세계 기계 번역 시스템에 이 방법이 확장 가능한가?

주요 결과

• Faster $k$ NN-MT는 표준 신경 기계 번역 모델 대비 추론 속도가 단지 1.2배 빠르며, Fast $k$ NN-MT는 2배 빨라서 성능 향상이 뚜렷하다.
• 이 방법은 시간 및 공간 복잡도를 크게 줄여 배치 크기를 더 크게 설정하고 추론 속도를 추가로 향상시킨다.
• WMT 및 도메인 적응 벤치마크(의료, IT, 코란, 자막)에서 Faster $k$ NN-MT는 Fast $k$ NN-MT 및 일반 $k$ NN-MT와 유사하거나 평균 1 BLEU 이내로 약간 떨어지며, 성능 저하가 거의 없다.
• 다양한 도메인에서 강력한 성능을 유지하며, WMT'14에서 52.7, WMT'16에서 44.9, 코란 데이터셋에서 37.1의 SacreBLEU 점수를 기록하여 성능 저하가 최소한이다.
• 계층적 군집화 전략은 데이터스토어 크기를 크게 줄여 $k$ NN-MT를 생산 환경에 구현할 수 있도록 한다.
• 고빈도 어휘(예: 'the', 'is')를 효과적으로 처리하며, 군집화로 인해 각 토큰의 데이터스토어 크기를 제한함으로써 검색에서의 병목 현상을 방지한다.