[論文レビュー] Cross-lingual Information Retrieval with BERT

Zhuolin Jiang, A. El-Jaroudi+3 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 23被引用数 22

ひとこと要約

本稿では、微調整された多言語Bertに基づくクロスリンガル情報検索（CLIR）モデルを提案する。このモデルは、関連性ラベルの付与が不要なまま、英語クエリと外国語文書間の関連性を学習する。並列テキスト（平行ビテキスト）を活用してプロキシ学習データを生成することで、リトアニア語CLIRベンチマークで最先端の性能を達成し、ニューラルベースラインを上回り、確率的モデルと同等の性能を示した。

ABSTRACT

Multiple neural language models have been developed recently, e.g., BERT and XLNet, and achieved impressive results in various NLP tasks including sentence classification, question answering and document ranking. In this paper, we explore the use of the popular bidirectional language model, BERT, to model and learn the relevance between English queries and foreign-language documents in the task of cross-lingual information retrieval. A deep relevance matching model based on BERT is introduced and trained by finetuning a pretrained multilingual BERT model with weak supervision, using home-made CLIR training data derived from parallel corpora. Experimental results of the retrieval of Lithuanian documents against short English queries show that our model is effective and outperforms the competitive baseline approaches.

研究の動機と目的

• BERTを用いたクロスリンガル情報検索のための深層関連性マッチングモデルの開発。
• クエリ-ドキュメント関連性ラベルの手作業による高コストな注釈に依存を減らすため、並列ビテキストから学習データを生成する。
• 英語からリトアニア語のような低リソース言語対におけるクロスリンガルドキュメント検索性能の向上。
• 微調整された多言語BertがプロキシCLIRデータ上で学習することで、クロスリンガル設定において強力なゼロショットおよびフェイシュット一般化を達成できることの実証。

提案手法

• 並列ビテキストから構築したプロキシCLIRタスク上で多言語Bertモデルを微調整し、単語レベルのアライメントではなく文単位のアライメントのみを用いる。
• 並列コーパス内の英語クエリとそれに対応する外国語文をペairedし、互いに翻訳関係にあれば関連するものとみなして学習データを構築する。
• BERTの入力形式を採用：[CLS] クエリ [SEP] 外国語文 [SEP] で、クエリとドキュメントトークンの間で共有注意力を有する。
• 正しいクエリ-文ペアの関連性スコアを最大化し、誤ったペアのスコアを最小化するように、対照学習の目的関数を最適化する。
• BERTの自己注意メカニズムを活用し、クエリとドキュメント間の単語レベルおよびn-gramレベルのマッチングパターンを捉える。
• 注意ヘッドの可視化により、BERTがソース-ターゲット語のマッチングおよびビグラムレベルの意味的パターンをどのように捉えているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 微調整された多言語Bertモデルは、明示的な関連性注釈がなくても、クロスリンガル関連性を効果的に学習できるか？
• RQ2 BERTベースのCLIRモデルの性能は、低リソース言語対において、従来のニューラルおよび非ニューラルベースラインと比べてどうか？
• RQ3 並列ビテキストから得たプロキシ学習データは、CLIRにおける高コストな関連性ラベル付きデータにどの程度置き換え可能か？
• RQ4 BERTはクロスリンガル検索において、どのような種類のマッチングパターン（例：単語レベル、ビグラムレベル）を学習するか？

主な発見

• BERTベースのCLIRモデルは開発セットでMAPスコア61.8、分析セットで65.7を達成し、QRANN、ドットプロダクト、その他のニューラルベースラインを上回った。
• 語句クエリサブセットでは、MAPスコア61.3%を達成し、比較されたすべてのモデルの中で最高であった。これは、複数語クエリにおいて優れた性能を示している。
• 音声データではMQWVスコア65.4、テキストデータでは65.7を達成し、すべての他のニューラルモデルを上回り、最良の非ニューラルシステムと同等の性能を示した。
• 注意の可視化により、BERTが直接的な語-語マッチング（例：'writing' → 'rašo'）とビグラムレベルのモデリング（例：'writing well' → 'rašo arba gerai'）の両方を捉えていることが確認された。
• モデルは単語クエリのみで学習されたにもかかわらず、語句クエリで最も高い性能を示した。これは、多語語クエリパターンへの強力な一般化能力を示している。