[論文レビュー] Improving Low-Resource Cross-lingual Document Retrieval by Reranking with Deep Bilingual Representations

Rui Zhang, Caitlin Westerfield+6 more|arXiv (Cornell University)|Jun 8, 2019

Topic Modeling参考文献 38被引用数 7

ひとこと要約

本稿では、二国語のクエリ-ドキュメント表現を用いて、低リソース言語間ドキュメント検索のための深層ニューラル再ランクモデルを提案する。共有された言語間単語埋め込みを活用し、クエリ尤度スコアを追加特徴として組み込むことで、少ない関連性ラベルから効果的に学習が可能となり、英語→Swahili、Tagalog、Somaliの検索タスクで最先端の性能を達成する。また、未学習の言語ペアに対してもゼロショット転送性が強く、優れた性能を示す。

ABSTRACT

In this paper, we propose to boost low-resource cross-lingual document retrieval performance with deep bilingual query-document representations. We match queries and documents in both source and target languages with four components, each of which is implemented as a term interaction-based deep neural network with cross-lingual word embeddings as input. By including query likelihood scores as extra features, our model effectively learns to rerank the retrieved documents by using a small number of relevance labels for low-resource language pairs. Due to the shared cross-lingual word embedding space, the model can also be directly applied to another language pair without any training label. Experimental results on the MATERIAL dataset show that our model outperforms the competitive translation-based baselines on English-Swahili, English-Tagalog, and English-Somali cross-lingual information retrieval tasks.

研究の動機と目的

• ラベル付き学習データが乏しい低リソース言語間ドキュメント検索の課題に対処すること。
• 機械翻訳の品質に依存するモジュール型翻訳ベースの手法の限界を克服すること。
• 低リソース言語ペアに対して、わずかな関連性ラベルのみを用いて効果的なドキュメント再ランクを可能にすること。
• 共有された言語間単語埋め込みを活用することで、追加の訓練データなしに新しい言語ペアへのゼロショット転送を実現すること。
• 低リソース環境下で、既存の翻訳ベースおよび単語言語の深層学習ベースラインを上回る性能を達成すること。

提案手法

• クエリとドキュメントの両言語間での照合を実現する4つのコンポonentネットワークを用い、それぞれが用語相互作用モデルに基づく。
• 各コンポonentを、言語間単語埋め込みを入力とし、文脈に敏感な符号化に双方向LSTMを用いた深層ニューラルネットワークとして実装する。
• モデルが最小限のラベルデータから効果的な再ランクを学習できるように、クエリ尤度スコアを追加特徴として統合する。
• k-maxプーリングと用語ゲーティング機構を用いて、クエリの用語間で用語レベルの関連性スコアを統合する。
• すべてのコンポonentを、バッチサイズ32で最適化し、開発セットのMAPで早期停止を行うAdamを用いた共通損失関数で同時に学習する。
• アラインされた言語間単語埋め込みを活用し、再トレーニングなしに新しい言語ペアへのゼロショット転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 わずかな関連性ラベルしか利用できない状況下で、二国語表現を用いた深層ニューラル再ランクが、低リソース言語間ドキュメント検索を改善できるか？
• RQ2 クエリ尤度スコアを補助特徴として統合することで、学習に必要なデータ量をどれほど削減できるか？
• RQ3 ある低リソース言語ペアで学習したモデルが、ラベルなしで他の言語ペアへどの程度一般化できるか？
• RQ4 異なる用語相互作用モデル（例：POSIT-DRMM、PACRR-DRMM）は、低リソース環境下でどの程度の性能を示すか？
• RQ5 二国語表現を用いることで、多様な言語ペアにおいて、単語言語または翻訳ベースのベースラインを一貫して上回る改善が得られるか？

主な発見

• 提案モデルは、英語→Swahili、英語→Tagalog、英語→Somaliの言語間検索タスクにおいて、競合する翻訳ベースベースラインを上回る性能を示した。
• クエリ尤度スコアを追加特徴として統合することで、わずかな関連性ラベルからの学習が効果的に可能となり、性能が著しく向上した。
• 非二国語対応モデルと比較して、1-3のMAP向上を達成し、ベースライン翻訳品質が良好な言語ペア（例：EN->TL）ではより大きな向上が見られた。
• 二国語POSIT-DRMMはPACRRおよびPACRR-DRMMを上回り、用語ゲーティングとプーリング機構が低リソース環境下で特に有効であることを示した。
• EN->SWおよびEN->TLからEN->SOへのゼロショット転送により、PSQおよびSMTベースラインを上回る1-3のMAP向上を達成し、優れた一般化能力を示した。
• 共有された言語間単語埋め込みのおかげで、モデルの性能は言語ペアにかかわらず安定しており、再トレーニングなしに新しい言語ペアへの直接適用が可能である。