[논문 리뷰] Learning Decoupled Retrieval Representation for Nearest Neighbour Neural Machine Translation

Qiang Wang, Rongxiang Weng외 1명|arXiv (Cornell University)|2022. 09. 19.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 표준 NMT 컨텍스트 표현에서 검색 표현을 분리하여 k-Nearest Neighbor Neural Machine Translation을 향상시키기 위해 감독형 대비 학습을 사용하는 Clknn 방법을 제안한다. 가벼운 어댑터를 통해 전용 검색 벡터를 학습하고 하드 음성 샘플링을 적용함으로써 Clknn은 다섯 개의 도메인에서 높은 검색 정확도와 BLEU 점수를 달성하며, 기존 kNN-MT에 비해 추론 속도 손실가 최소화된다.

ABSTRACT

K-Nearest Neighbor Neural Machine Translation (kNN-MT) successfully incorporates external corpus by retrieving word-level representations at test time. Generally, kNN-MT borrows the off-the-shelf context representation in the translation task, e.g., the output of the last decoder layer, as the query vector of the retrieval task. In this work, we highlight that coupling the representations of these two tasks is sub-optimal for fine-grained retrieval. To alleviate it, we leverage supervised contrastive learning to learn the distinctive retrieval representation derived from the original context representation. We also propose a fast and effective approach to constructing hard negative samples. Experimental results on five domains show that our approach improves the retrieval accuracy and BLEU score compared to vanilla kNN-MT.

연구 동기 및 목표

• 번역과 검색 작업에 공통된 컨텍스트 표현을 사용할 경우 kNN-MT의 성능이 최적화되지 않는 문제를 해결하기 위해.
• 유사한 목표 단어를 더 잘 구분할 수 있는 전용이고 더 구분력 있는 검색 표현을 학습하기 위해.
• 저자원 및 도메인 외부 설정에서 검색 정확도와 후행 번역 성능(BLEU)을 향상시키기 위해.
• 대비 학습을 향상시키기 위한 효율적인 하드 음성 샘플링 전략을 개발하기 위해.
• 제안된 방법이 기존 kNN-MT와 유사한 추론 속도를 유지하는지 확인하기 위해.

제안 방법

• 기본 NMT 컨텍스트 표현 h를 전용 검색 표현 z로 변환하기 위해 가벼운 피드포워드 네트워크 어댑터를 사용한다.
• 검색 성능 최적화를 위해 다수의 양성 및 음성 샘플을 사용하여 감독형 대비 학습을 적용한다.
• 검색 벡터를 클러스터링하고 가장 가까운 K=128개의 클러스터에서 샘플링하여 하드 음성 샘플을 구성함으로써 학습 신호를 강화한다.
• 추론 시 검색 표현 z를 사용하여 데이터스토어 내에서 k-최근접 이웃을 찾으며, 원래의 h를 쿼리 벡터로 대체한다.
• 최종 번역 확률은 표준 NMT 출력과 검색 기반 확률을 가중치 λ(학습 가능한 보정 계수)를 통해 조합하여 계산한다.
• FAISS를 이용한 효율적 검색을 위해 차원을 128로 감소시키기 위해 PCA 투영을 적용한다.

실험 결과

연구 질문

• RQ1 표준 NMT 컨텍스트 표현에서 검색 표현을 분리하면 kNN-MT에서 검색 정확도와 번역 성능이 향상되는가?
• RQ2 대비 학습에서 다수의 양성 및 음성 샘플을 사용할 경우 단일 샘플 기반 방법보다 더 나은 검색 표현을 얻을 수 있는가?
• RQ3 낮은 계산 비용으로도 대비 학습을 향상시킬 수 있는 빠르고 효과적인 하드 음성 샘플링 전략을 도입할 수 있는가?
• RQ4 추가된 어댑터로 인해 기존 kNN-MT와 유사한 추론 속도를 유지할 수 있는가?
• RQ5 이 방법은 도메인 내 및 도메인 외 테스트 세트에서 얼마나 강건한가?

주요 결과

• Clknn은 다섯 개의 도메인 평균에서 기존 kNN-MT 대비 1점 이상의 BLEU 점수 향상을 기록했으며, 의료 도메인에서는 최대 1.64 BLEU 포인트 향상되었다.
• 모든 top-k 값에서 Clknn의 검색 정확도가 kNN-MT를 일관되게 초월하여 더 강력하고 정확한 이웃 검색을 가능하게 했다.
• M=2개의 양성 샘플과 N=32개의 음성 샘플을 사용할 경우 최고의 성능를 기록했으며, M을 늘리는 것보다 N을 늘일 경우 더 강력한 학습 신호를 제공했다.
• Clknn는 kNN-MT와 유사한 추론 속도(기준 대비 97% ± 2%)를 확보하여 어댑터로 인한 추가 오버헤드가 최소임을 확인했다.
• 도메인 내 및 도메인 외 설정 간 성능 격차는 단지 0.3 BLEU 포인트로 줄었으며, 이는 강력한 일반화 능력과 도메인 내 데이터 의존도 감소를 시사한다.
• t-SNE 시각화 결과 Clknn가 기존 기준 대비 더 조밀하고 분리 가능한 표현을 학습함을 확인했으며, 특히 저빈도 단어에서 두드러진 성능 향상을 보였다.