[논문 리뷰] Efficient Cluster-Based k-Nearest-Neighbor Machine Translation

Dexin Wang, Kai Fan외 2명|ArXiv.org|2022. 04. 13.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 k-최근접 이웃 기계 번역(kNN-MT)의 속도를 향상시키기 위해 군집 기반의 Compact Network와 군집 기반의 프루닝 전략을 제안한다. 이로 인해 특성 차원을 최대 93.75% 감소시키고 데이터베이스 크기를 10%~40% 줄일 수 있으며, 번역 품질을 유지하거나 향상시킬 수 있다. 다양한 벤치마크에서 최신 비모수적 MT 모델 대비 최대 57% 높은 추론 저지연 시간을 달성한다.

ABSTRACT

k-Nearest-Neighbor Machine Translation (kNN-MT) has been recently proposed as a non-parametric solution for domain adaptation in neural machine translation (NMT). It aims to alleviate the performance degradation of advanced MT systems in translating out-of-domain sentences by coordinating with an additional token-level feature-based retrieval module constructed from in-domain data. Previous studies have already demonstrated that non-parametric NMT is even superior to models fine-tuned on out-of-domain data. In spite of this success, kNN retrieval is at the expense of high latency, in particular for large datastores. To make it practical, in this paper, we explore a more efficient kNN-MT and propose to use clustering to improve the retrieval efficiency. Concretely, we first propose a cluster-based Compact Network for feature reduction in a contrastive learning manner to compress context features into 90+% lower dimensional vectors. We then suggest a cluster-based pruning solution to filter out 10%-40% redundant nodes in large datastores while retaining translation quality. Our proposed methods achieve better or comparable performance while reducing up to 57% inference latency against the advanced non-parametric MT model on several machine translation benchmarks. Experimental results indicate that the proposed methods maintain the most useful information of the original datastore and the Compact Network shows good generalization on unseen domains.

연구 동기 및 목표

• 큰 데이터베이스와 비효율적 검색으로 인한 kNN-MT의 높은 추론 지연을 해결하기 위해.
• 특성 공간에서 더 분리 가능한, 압축된 의미 군집을 학습함으로써 검색 효과를 향상시키기 위해.
• 번역 품질을 유지하면서 원칙적인 프루닝 전략을 통해 데이터베이스의 중복을 줄이기 위해.
• 성능 저하 없이 효율적이고 확장 가능한 비모수적 도메인 적응을 신경 기계 번역에서 가능하게 하기 위해.
• 대tristic 학습 기반 특성 압축과 군집 인식 프루닝이 함께 작용하여 속도와 정확도를 동시에 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 대비 학습을 통해 군집 기반의 Compact Network를 훈련시켜 고차원적 문맥 특징을 저차원 벡터로 압축함으로써 차원을 최대 93.75% 감소시킨다.
• Compact Network는 kNN 검색을 위한 의미 분리도를 향상시키기 위해 군집 간 거리를 최대화하고 군집 내 거리를 최소화한다.
• 군집 기반 프루닝 전략은 군집 밀도와 의미적 관련성을 분석하여 데이터베이스 내 중복된 키를 식별하고 제거한다.
• 프루닝은 군집 구조에 따라 고품질이자 다양한 표현을 유지하면서도 낮은 유용성 또는 겹치는 항목은 제거하도록 이끈다.
• 이 방법은 적응형 kNN-MT와 통합되어 추론 시 프루닝된 압축된 데이터베이스에서 동적 k 선택 및 검색을 가능하게 한다.
• 이 접근법은 IT 및 자막 도메인을 포함한 여러 NMT 벤치마크에서 평가되었으며, 프루닝 비율과 특성 압축에 대한 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 대비 학습 기반 특성 압축은 번역 품질을 유지하면서 kNN-MT의 추론 지연 시간을 크게 줄일 수 있는가?
• RQ2 데이터베이스의 군집 인식 프루닝은 BLEU 손실 없이 중복을 줄이고 검색 효율을 향상시킬 수 있는가?
• RQ3 특성 압축과 프루닝의 조합은 다양한 이방향 테스트 세트에서 성능에 어떤 영향을 미치는가?
• RQ4 강력한 차원 축소와 프루닝에도 불구하고, 제안된 방법은 예측 불가능한 도메인에 일반화할 수 있는가?
• RQ5 대규모 kNN-MT 시스템에서 프루닝 비율, 지연 시간 감소, 번역 성능 간의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 Compact Network는 여러 벤치마크에서 번역 품질을 유지하거나 향상시키면서도 특성 차원을 최대 93.75% 감소시킨다.
• 군집 기반 프루닝 전략은 데이터베이스 키의 10%~40%를 제거하면서도 유의미한 BLEU 손실 없이 추론 지연 시간을 최대 57% 감소시킨다.
• 30% 프루닝을 적용한 PCKMT*는 자막 도메인에서 적응형 kNN-MT 기준 0.36 BLEU 향상과 1.56배 빠른 속도를 달성한다.
• 무작위 프루닝과 비교해 볼 때, PCKMT*+Ours는 프루닝 비율이 70%까지 유지되지만 무작위 프루닝은 50%를 초과하면 급격히 성능 저하를 보인다.
• t-SNE 시각화 결과, Compact Network는 의미적 겹침이 줄어든 더 분리 가능한, 압축된 군집을 생성함을 확인했다.
• IT 도메인에서는 데이터베이스 저장 용량을 양자화를 통해 295.2GB에서 12.2GB로 줄였고, 70% 프루닝을 추가로 적용하면 BLEU 손실 최소화 조건에서 6.5GB로 감소시켰다.