[논문 리뷰] Exploiting Neural Query Translation into Cross Lingual Information Retrieval

Yao Liang, Baosong Yang외 3명|arXiv (Cornell University)|2020. 10. 26.

Natural Language Processing Techniques참고 문헌 45인용 수 28

한 줄 요약

이 논문은 도메인 내 데이터 증강을 위한 사용자 클릭트러프 데이터를 활용하고, SMT의 낮은 지연 시간과 NMT의 번역 품질을 조합하는 비동기 시스템 아키텍처를 설계하여 신경 기계 번역(NMT)을 교차 언어 정보 검색(CLI)에 통합하는 새로운 접근법을 제안한다. 이 방법은 실제 전자상거래 검색 환경에서 SMT 및 최신 기준 성능보다도 뛰어난 검색 성능을 달성한다.

ABSTRACT

As a crucial role in cross-language information retrieval (CLIR), query translation has three main challenges: 1) the adequacy of translation; 2) the lack of in-domain parallel training data; and 3) the requisite of low latency. To this end, existing CLIR systems mainly exploit statistical-based machine translation (SMT) rather than the advanced neural machine translation (NMT), limiting the further improvements on both translation and retrieval quality. In this paper, we investigate how to exploit neural query translation model into CLIR system. Specifically, we propose a novel data augmentation method that extracts query translation pairs according to user clickthrough data, thus to alleviate the problem of domain-adaptation in NMT. Then, we introduce an asynchronous strategy which is able to leverage the advantages of the real-time in SMT and the veracity in NMT. Experimental results reveal that the proposed approach yields better retrieval quality than strong baselines and can be well applied into a real-world CLIR system, i.e. Aliexpress e-Commerce search engine. Readers can examine and test their cases on our website: https://aliexpress.com .

연구 동기 및 목표

• 기존 SMT의 한계, 특히 짧은 쿼리 번역 부족과 도메인 내 훈련 데이터 부족 문제를 해결하기 위해.
• 높은 계산 비용에도 불구하고 NMT를 실시간, 저지연 CLIR 시스템에 구현할 수 있는지의 타당성과 효율성을 탐색하기 위해.
• 암묵적 사용자 피드백에서 고품질의 도메인 내 이중어 쿼리 쌍을 획득하기 위한 확장 가능하고 데이터 효율적인 방법을 개발하기 위해.
• SMT를 실시간 응답에 활용하고, NMT를 비동기 캐싱을 통해 뛰어난 번역 품질을 확보하는 하이브리드 시스템 아키텍처를 설계하기 위해.

제안 방법

• 성공적인 클릭이 신뢰할 수 있는 번역을 나타내므로, 사용자 클릭트러프 로그에서 고품질의 이중어 쿼리 쌍을 추출하는 데이터 증강 기법을 제안한다.
• 추출된 클릭트러프 데이터를 사용해 NMT 모델을 공동으로 미세조정함으로써 도메인 적응성과 희귀어 또는 모호한 어휘의 커버리지가 향상된다.
• 비동기 쿼리 번역 아키텍처를 설계: SMT는 즉각적인 응답을 제공하고, NMT는 공유 번역 캐시를 비동기적으로 업데이트한다.
• NMT 번역 결과를 저장하는 캐싱 메커니즘을 도입하여 중복 계산을 줄이고 자주 액세스되는 쿼리에 대한 저지연 추론을 가능하게 한다.
• 실제 전자상거래 검색 시스템(AliExpress)에 NMT 모델을 통합하여 실전 환경에서 종단 간 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 짧은 쿼리에서 어휘의 모호성 해소 및 희귀어 처리 능력 면에서 NMT가 SMT를 능가할 수 있는가? 이는 어색함과 부정확성에 대한 우려에도 불구하고.
• RQ2 사용자 클릭트러프 데이터는 NMT 훈련을 위한 고품질, 도메인 내 이중어 쿼리 쌍을 효과적으로 추출할 수 있는가?
• RQ3 비동기 아키텍처는 실시간 운영 환경에서 SMT의 저지연성과 NMT의 높은 정확도를 균형 있게 확보할 수 있는가?
• RQ4 클릭트러프 로그에서 유도된 데이터 증강 기법이 자원이 적고 도메인이 특화된 쿼리 번역에서 NMT 성능을 어느 정도 향상시키는가?

주요 결과

• CLEF 2018 다국어 태스크 4에서 NMT는 SMT보다 검색 품질에서 뛰어나며, 어휘의 모호성 해소 및 희귀어 처리 능력 면에서 뛰어난 성능을 보였다.
• 클릭트러프 기반 데이터 마이닝 방법은 훈련 데이터의 어휘 커버리지가 크게 향상되어 NMT의 OOV(Out-of-Vocabulary) 및 도메인 특화 어휘에 대한 강건성이 향상되었다.
• 제안된 비동기 아키텍처는 SMT와 유사한 평균 지연 시간(약 10ms)을 달성하여 NMT의 실시간 배포 가능성 입증하였다.
• 추출된 데이터로 공동 훈련을 수행함으로써 NMT 성능이 향상되었고, CLEF 벤치마크에서 최신 기준 시스템인 CUNI를 능가하는 성능을 기록하였다.