[論文レビュー] Enhancing Translation Language Models with Word Embedding for Information Retrieval

Jibril Frej, Jean–Pierre Chevallet+1 more|arXiv (Cornell University)|Jan 11, 2018

Topic Modeling参考文献 1被引用数 5

ひとこと要約

本稿は、語彙マッチングの問題を軽減するため、語の分散表現を統合して翻訳言語モデルを強化し、語ベクトル間のコサイン類似度を用いて翻訳確率を推定する。CHiC2012データセットにおける検索パフォーマンスの向上が見られたが、その向上は統計的に有意ではなかった。これは、他のコーパスでも観察された傾向と一致しており、改善は見られたものの、必ずしも有意ではなかった。

ABSTRACT

In this paper, we explore the usage of Word Embedding semantic resources for Information Retrieval (IR) task. This embedding, produced by a shallow neural network, have been shown to catch semantic similarities between words (Mikolov et al., 2013). Hence, our goal is to enhance IR Language Models by addressing the term mismatch problem. To do so, we applied the model presented in the paper Integrating and Evaluating Neural Word Embedding in Information Retrieval by Zuccon et al. (2015) that proposes to estimate the translation probability of a Translation Language Model using the cosine similarity between Word Embedding. The results we obtained so far did not show a statistically significant improvement compared to classical Language Model.

研究の動機と目的

• 検索における語彙マッチング問題に取り組むこと、特に語彙が希少または専門的であるコレクションにおいて。
• 事前学習済み語分散表現からの意味的類似度を組み込むことで、翻訳言語モデルを強化すること。
• 語分散表現に基づく翻訳確率が、標準的な言語モデルよりも検索効果を高めることを評価すること。
• モデル内で自己翻訳確率を制御するための学習可能なパラメータ α を導入した場合の影響を調査すること。
• 異なるコーパス特性および埋め込み表現のソースに対して、このアプローチの頑健性を評価すること。

提案手法

• 論文はディリクレ言語モデルを拡張し、語分散表現の類似度に基づく翻訳確率成分を導入した。
• 翻訳確率は、事前学習済み語分散表現の語ベクトル間のコサイン類似度を用いて推定された。
• これらの確率は、言語モデルの式に統合され、意味的類似度に基づいて用語マッチングを再重み付けした。
• 新しいバリアントである WETLM-α は、自己翻訳確率を制御するための学習可能なパラメータ α を導入し、モデルの柔軟性を向上させた。
• クエリやドキュメントの拡張を避ける代わりに、言語モデルフレームワーク内でのマッチング関数を直接変更した。
• 実験は、短いメタデータを有する文化的遺産コレクションである CHiC2012 データセットを対象とし、標準的な情報検索評価指標を用いた。

実験結果

リサーチクエスチョン

• RQ1 語分散表現を用いることで、リソースが限られた、または専門語彙が豊富なコレクションにおける語彙マッチングの問題を軽減し、検索パフォーマンスを向上させることができるか？
• RQ2 語分散表現間のコサイン類似度を用いて翻訳確率を推定することで、標準的な言語モデルよりも優れた検索結果が得られるか？
• RQ3 語分散表現を翻訳言語モデルに組み込むことで、その改善が統計的に有意であるか？
• RQ4 自己翻訳確率を制御するための学習可能なパラメータ α を導入した場合、モデルのパフォーマンスにどのような影響があるか？
• RQ5 このモデルの有効性は、異なるコーパスおよび異なる埋め込み表現の学習セットに対して一般化可能か？

主な発見

• WETLMモデルは μ=36 のとき MAP が 38.35% を達成し、ベースラインのディリクレLM（μ=36 時に 38.31%）をわずかに上回ったが、差は統計的に有意ではなかった。
• 最適な μ 値は、ディリクレLMの 44 から WETLM では 24 にシフトしており、これは埋め込み統合に起因するスムージング行動の変化を示している。
• WETLM の P@10 スコアは μ=48 時に 36.67% に達し、ディリクレLMの最大値 34.38% を上回った。これは上位10件の精度が向上したことを示唆している。
• WETLM-α バージョンは μ=36 時に MAP が 38.35% を達成し、ペアド t 検定の p 値が 0.01219 であったが、0.01 の有意水準を下回らなかった。
• CHiC2012 データセットにおける結果は、Zuccon ら（2015）の先行研究と一致しており、複数のコレクションで類似したパフォーマンストレンドを示した。
• 本研究は、語分散表現が情報検索用言語モデルを強化できることを確認したが、その向上は微小であり、評価の結果として一貫して有意ではなかった。