[論文レビュー] Cross-Lingual Relevance Transfer for Document Retrieval

Peng Shi, Jimmy Lin|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 8被引用数 5

ひとこと要約

この論文は、多言語 BERT (mBERT) が、言語固有のチューニングを一切行わずに、中国語、アラビア語、フランス語、ヒンディー語、ベンガル語の5つの非英語言語において、英語データで訓練された文レベルの関連性モデルを文書検索に効果的に転送できることを示している。英語のソーシャルメディア関連性データで微調整した mBERT を直接ターゲット言語に適用することで、単一言語およびクロスリンガル検索タスクの両方でランク付け効果性が顕著に向上する。

ABSTRACT

Recent work has shown the surprising ability of multi-lingual BERT to serve as a zero-shot cross-lingual transfer model for a number of language processing tasks. We combine this finding with a similarly-recently proposal on sentence-level relevance modeling for document retrieval to demonstrate the ability of multi-lingual BERT to transfer models of relevance across languages. Experiments on test collections in five different languages from diverse language families (Chinese, Arabic, French, Hindi, and Bengali) show that models trained with English data improve ranking quality, without any special processing, both for (non-English) mono-lingual retrieval as well as cross-lingual retrieval.

研究の動機と目的

• 英語データで訓練された関連性モデルが、mBERT を用いて非英語言語に効果的に転送可能かどうかを調査すること。
• 言語固有の適応なしに mBERT がゼロショットクロスリンガル文書検索でどの程度の性能を示すかを評価すること。
• 多様な言語系統にまたがる単一言語およびクロスリンガル検索設定において、mBERT の有効性を評価すること。
• mBERT の埋め込みを微調整すると、クロスリンガル転送性能に悪影響を及ぼすかどうかを検討すること。
• Google Translate をベースラインとして用いた場合、クエリ翻訳品質がクロスリンガル検索性能にどの程度影響を与えるかを評価すること。

提案手法

• TREC マイクロブログトラックの英語マイクロブログ関連性データを用いて、mBERT を文レベルの関連性分類に微調整する。
• mBERT の [CLS] テンキー表現を用いて、クエリ-文ペアの関連性スコアを予測する。
• 上位-k 個の文レベル関連性スコアと BM25 の語彙マッチングスコアを重み付き和で結合する：$ S_{\text{doc}} = \alpha \cdot S_r + (1 - \alpha) \cdot \sum_{i=1}^k w_i \cdot S_i $。
• 再トレーニングや言語固有の適応なしに、mBERT を直接非英語文書に適用する。
• クロスリンガル検索のため、インフェレンス前にクエリを Google Translate を用いて文書言語に翻訳する。
• 平均精度（AP）や NDCG@20 などのランク付け指標を最適化するために、ハイパーパramータ $\alpha$ と $w_i$ を交差検証でチューニングする。

実験結果

リサーチクエスチョン

• RQ1 mBERT は、英語マイクロブログデータで訓練された関連性モデルを、非英語言語の文書検索に効果的に転送できるか？
• RQ2 mBERT の転送による性能向上は、低リソース言語を含む多様な言語系統にわたり持続するか？
• RQ3 mBERT のトークン埋め込みを微調整すると、クロスリンガル転送性能にどのような影響を与えるか？
• RQ4 ブラックボックス翻訳機を用いた場合、クエリ翻訳品質がクロスリンガル検索効果にどの程度影響を与えるか？
• RQ5 言語ごとの転送効果性に顕著な差が生じるか、その原因は何か？

主な発見

• mBERT を英語マイクロブログデータで微調整した結果、言語固有の適応なしに5つの非英語言語における文書検索性能が向上した。
• 単一言語検索では、mBERT が中国語（NTCIR8-zh）で BM25 よりも平均精度（AP）を最大 0.0561 向上させ、言語間で 0.018 から 0.041 の改善を達成した。
• クロスリンガル検索においても、クエリ翻訳が不完全であっても mBERT は顕著な向上を示し、CLEF2006-en-fr 条件で AP が最大 0.0462 向上した。
• mBERT の埋め込みを微調整すると性能が低下したため、固定された埋め込みの方が、転送に適したクロスリンガル整合性を保っていると考えられる。
• 上位スコアの文を1つだけ使用してもすでに高い性能を示し、追加の文による向上はわずかであった。
• 多様な言語系統にわたり、mBERT は強力なクロスリンガル転送を示しており、ゼロショット関連性転送の可能性を裏付けている。