[論文レビュー] Exploiting Neural Query Translation into Cross Lingual Information Retrieval

Yao Liang, Baosong Yang+3 more|arXiv (Cornell University)|Oct 26, 2020

Natural Language Processing Techniques参考文献 45被引用数 28

ひとこと要約

本稿では、ドメイン固有のデータ拡張のためのユーザーのクリックスルーデータを活用し、SMTの低遅延性とNMTの翻訳品質を組み合わせた非同期的なシステムアーキテクチャを設計することで、神経機械翻訳（NMT）をクロスリンガル情報検索（CLIR）に統合する新しい手法を提案する。この手法は、実世界のEC検索においてSMTおよび最先端のベースラインを大きく上回る検索パフォーマンスを実現する。

ABSTRACT

As a crucial role in cross-language information retrieval (CLIR), query translation has three main challenges: 1) the adequacy of translation; 2) the lack of in-domain parallel training data; and 3) the requisite of low latency. To this end, existing CLIR systems mainly exploit statistical-based machine translation (SMT) rather than the advanced neural machine translation (NMT), limiting the further improvements on both translation and retrieval quality. In this paper, we investigate how to exploit neural query translation model into CLIR system. Specifically, we propose a novel data augmentation method that extracts query translation pairs according to user clickthrough data, thus to alleviate the problem of domain-adaptation in NMT. Then, we introduce an asynchronous strategy which is able to leverage the advantages of the real-time in SMT and the veracity in NMT. Experimental results reveal that the proposed approach yields better retrieval quality than strong baselines and can be well applied into a real-world CLIR system, i.e. Aliexpress e-Commerce search engine. Readers can examine and test their cases on our website: https://aliexpress.com .

研究の動機と目的

• 従来のSMTの制限、特に短いクエリの翻訳が不十分であることやドメイン特化した学習データの不足といった問題に取り組む。
• 計算コストが高いために実時間・低遅延CLIRシステムへのNMTの導入の可能性と有効性を検討する。
• 暗黙のユーザーフィードバックから高品質なドメイン特化したバイリンガルクエリペアを取得するスケーラブルでデータ効率の良い手法を開発する。
• SMTによる即時の応答とNMTによる優れた翻訳品質を非同期キャッシュを介して組み合わせるハイブリッドシステムアーキテクチャを設計する。

提案手法

• 成功したクリックが信頼できる翻訳を示すため、ユーザーのクリックスルーログから高品質なバイリンガルクエリペアを抽出するデータ拡張技術を提案する。
• 抽出されたクリックスルーデータを用いてNMTモデルを共同微調整し、ドメイン適合性を向上させるとともに、まれな語や曖昧語のカバー範囲を拡大する。
• 非同期クエリ翻訳アーキテクチャを設計：SMTが即時の応答を提供し、NMTが共有キャッシュを非同期的に更新する。
• NMTの翻訳結果をキャッシュに格納するメカニズムを採用し、重複計算を削減し、頻繁にアクセスされるクエリに対する低遅延推論を可能にする。
• 実世界のEC検索システム（AliExpress）にNMTモデルを統合し、生産環境でのエンドツーエンド評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 NMTは、短いクエリにおける流暢さや適切さに関する懸念があるにもかかわらず、CLIRのクエリ翻訳においてSMTを上回ることができるか？
• RQ2 ユーザーのクリックスルーデータは、NMT学習のための高品質でドメイン特化したバイリンガルクエリペアを効果的に抽出できるか？
• RQ3 非同期アーキテクチャは、実時間の生産環境システムにおいてSMTの低遅延性とNMTの高精度性を両立できるか？
• RQ4 クリックスルーログからのデータ拡張は、リソースが限られたドメイン固有のクエリ翻訳においてNMTのパフォーマンスをどの程度向上させることができるか？

主な発見

• CLEF 2018のマルチリンガルタスク4において、NMTはSMTを上回る検索品質を示し、語の意味の多義性解消やレア語の処理において優位性を示した。
• クリックスルーベースのデータマイニング手法により、学習データにおける語カバレッジが顕著に向上し、NMTのOoV（未知語）およびドメイン固有語に対する耐性が向上した。
• 提案された非同期アーキテクチャは、SMTと同等の平均遅延（約10ms）を達成しており、NMTの実時間導入が可能であることを示した。
• 抽出データを用いた共同学習によりNMTのパフォーマンスが向上し、CUNIシステムを凌駕する性能をClefベンチマークで示した。