[논문 리뷰] Fast Nearest Neighbor Machine Translation

Yuxian Meng, Xiaoya Li외 5명|arXiv (Cornell University)|2021. 05. 30.

Natural Language Processing Techniques인용 수 14

한 줄 요약

이 논문은 k-Nearest Neighbor Machine Translation의 매우 효율적인 변종인 Fast k-NN-MT를 제안한다. 이는 이전에 선택된 참조 소스 토큰과 관련된 타겟 토큰들만으로 검색 공간을 제한함으로써 추론 속도를 향상시킨다. 같은 유형의 토큰 이웃으로서의 근접 이웃 검색을 제한하고, 디코딩 단계마다 데이터스토어를 동적으로 축소함으로써 Fast k-NN-MT는 기존 k-NN-MT 대비 두 배수의 속도 향상을 달성하면서도 거의 동일한 성능을 유지한다. 이는 표준 NMT 모델보다 뿐만 아니라 두 배 빠른 속도로 실행된다.

ABSTRACT

Though nearest neighbor Machine Translation ($k$NN-MT) \citep{khandelwal2020nearest} has proved to introduce significant performance boosts over standard neural MT systems, it is prohibitively slow since it uses the entire reference corpus as the datastore for the nearest neighbor search. This means each step for each beam in the beam search has to search over the entire reference corpus. $k$NN-MT is thus two-orders slower than vanilla MT models, making it hard to be applied to real-world applications, especially online services. In this work, we propose Fast $k$NN-MT to address this issue. Fast $k$NN-MT constructs a significantly smaller datastore for the nearest neighbor search: for each word in a source sentence, Fast $k$NN-MT first selects its nearest token-level neighbors, which is limited to tokens that are the same as the query token. Then at each decoding step, in contrast to using the entire corpus as the datastore, the search space is limited to target tokens corresponding to the previously selected reference source tokens. This strategy avoids search through the whole datastore for nearest neighbors and drastically improves decoding efficiency. Without loss of performance, Fast $k$NN-MT is two-orders faster than $k$NN-MT, and is only two times slower than the standard NMT model. Fast $k$NN-MT enables the practical use of $k$NN-MT systems in real-world MT applications. The code is available at \url{https://github.com/ShannonAI/fast-knn-nmt}

연구 동기 및 목표

• 각 디코딩 단계에서 전체 코퍼스의 근접 이웃 검색으로 인해 표준 NMT보다 두 배수 느린 k-NN-MT의 금지된 추론 지연을 해결하기 위해.
• 실시간 온라인 MT 서비스에서 k-NN-MT의 실용적 구현을 가능하게 하기 위해 번역 품질을 희생시키지 않고 디코딩 효율성을 크게 향상시키기 위해.
• 소스 측의 맥락에 기반하여 관련 참조 토큰들만으로 데이터스토어를 제한하는 확장 가능하고 효율적인 검색 메커니즘을 설계하기 위해.
• 제약 조건이 있는 검색 환경에서 검색 공간 크기, 이웃 수, 모델 성능 간의 상호 상충 관계를 조사하기 위해.

제안 방법

• 각 소스 토큰에 대해 쿼리 토큰 유형(예: 동일한 어형)과 일치하는 토큰 수준의 이웃들만 선택하여 더 작은 데이터스토어를 구성한다.
• 각 디코딩 단계에서 이전에 선택된 참조 소스 토큰에 해당하는 타겟 토큰들로만 근접 이웃 검색을 제한하여, 소스에서 타겟으로 이르는 참조 예제를 통해 연결된 체인을 형성한다.
• 효율적인 참조 예제 검색을 위해 FastAlign을 사용하여 소스 토큰과 타겟 토큰 간의 다국어 간 정렬을 수립한다.
• k-NN 추론 중에 이전에 검색된 소스 참조 토큰과 연결된 타겟 토큰들만으로 검색 공간을 제한하여 단계당 후보 수를 줄인다.
• 고차원 토큰 표현에 대해 양자화를 적용하여 메모리 사용량을 줄이며, 성능에 미치는 영향은 최소한으로 유지한다.
• L2와 내적과 비교해 성능이 뛰어나므로, 근접 이웃 검색에 코사인 유사도를 거리 측정 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 번역 품질을 저하시키지 않고 k-NN-MT의 추론 지연을 크게 줄일 수 있는가?
• RQ2 관련 참조 소스 토큰들로만 검색 공간을 제한할 경우 모델 성능과 속도에 어떤 영향을 미치는가?
• RQ3 정확성과 효율성의 균형을 고려할 때 소스 토큰당 최적의 이웃 수(c)는 얼마인가?
• RQ4 타겟 측의 이웃 수(k)가 성능에 어떤 영향을 미치며, 성능 향상의 한계점이 존재하는가?
• RQ5 벡터 표현의 양자화가 검색 파이프라인에서 모델 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• Fast k-NN-MT는 기존 k-NN-MT 대비 100배 빠른 속도를 달성하여 추론 시간을 표준 NMT 모델보다 뿐만 아니라 두 배 빠르게 유지한다.
• WMT’19 De-En에서 Fast k-NN-MT는 SacreBLEU 점수 39.3을 기록하여 기존 k-NN-MT와 동일한 성능을 달성한다.
• WMT’14 En-Fr에서 Fast k-NN-MT는 SacreBLEU 점수 41.7을 기록하여 원본 k-NN-MT 모델과 유사한 성능을 보였다.
• 도메인 적응 작업에서 Fast k-NN-MT는 평균 SacreBLEU 점수 41.4를 기록하여 다양한 도메인 간 일반화 능력이 뛰어나다는 것을 입증했다.
• 토큰 표현의 양자화로 인해 평균 점수에서 0.1 BLEU 포인트의 감소만 발생하여, 메모리 효율성 향상과의 상호 교환 가능성이 있음을 시사한다.
• 최적의 소스 측 이웃 수(c)는 512이며, 이를 초과하면 성능 향상이 정체된다. 반면 타겟 측 이웃 수(k)는 최적 값 주변에서 명확한 피크를 보인다.