[論文レビュー] Semantic Modelling with Long-Short-Term Memory for Information Retrieval

Hamid Palangi, Li Deng+6 more|arXiv (Cornell University)|Dec 20, 2014

Topic Modeling参考文献 13被引用数 58

ひとこと要約

この論文では、長期間の文脈的依存関係をクエリおよびドキュメントで捉えるために長短記憶ネットワーク（LSTM）を用いる、情報検索のための新しい意味的モデリング手法LSTM-DSSMを提案する。この手法は、語彙的不一致と文脈モデリングの問題に、シーケンスベースのモデリングとコサイン類似度最適化により対処し、Bingウェブ検索データ上で既存手法を著しく上回る性能を発揮する。

ABSTRACT

In this paper we address the following problem in web document and information retrieval (IR): How can we use long-term context information to gain better IR performance? Unlike common IR methods that use bag of words representation for queries and documents, we treat them as a sequence of words and use long short term memory (LSTM) to capture contextual dependencies. To the best of our knowledge, this is the first time that LSTM is applied to information retrieval tasks. Unlike training traditional LSTMs, the training strategy is different due to the special nature of information retrieval problem. Experimental evaluation on an IR task derived from the Bing web search demonstrates the ability of the proposed method in addressing both lexical mismatch and long-term context modelling issues, thereby, significantly outperforming existing state of the art methods for web document retrieval task.

研究の動機と目的

• バッチオブワード表現の代わりにシーケンスベースのモデリングを用いて、情報検索における語彙的不一致と長期的文脈モデリングを改善すること。
• 勾配消失／爆発の問題により、標準的なRNNが長期的依存関係を捉えるのが困難であるという限界を克服すること。
• 従来、音声認識や機械翻訳で成功を収めたLSTMを、情報検索タスクに初めて適用すること。
• 標準的なRNNとは異なり、最終シーケンス出力からのみ誤差信号を逆伝播させるという、IRに特化したトレーニング戦略を開発すること。
• LSTM-DSSMが実世界のウェブ検索データにおいて、R-DSSMおよび他の最先端IRモデルを上回る優れた性能を発揮することを実証すること。

提案手法

• モデルは、語彙埋め込みのシーケンスとしてクエリおよびドキュメントを符号化するための1層LSTMを用い、ゲーテッドメモリセルにより長期的依存関係を捉える。
• LSTMセルアーキテクチャには、入力ゲート、フォグットゲート、出力ゲートが含まれており、セル状態への直接アクセスを可能にするピーチホール接続が付加されている。
• 語彙表現はハッシュ化により得られ、各シーケンスの最終時刻ステップにおける最終隠れ状態が、クエリおよびドキュメントの意味的埋め込みとして使用される。
• 意味的類似度は、クエリおよびドキュメントLSTMの最終隠れ状態間のコサイン類似度により計算される。
• モデルは、切り捨てられた時間軸を介した誤差逆伝播（truncated back-propagation-through-time）と、クリックされたドキュメントがクリックされないものよりも尤もらしいようにするマージンベースの損失関数を用いてトレーニングされる。
• 特化した誤差逆伝播スキームが用いられ、誤差信号は最終出力からのみ逆伝播され、隠れ状態および再帰的重みの更新に必要な導出式に基づいて勾配が計算される。

実験結果

リサーチクエスチョン

• RQ1 LSTMは、情報検索タスクにおいて長期的文脈的依存関係を効果的にモデリングでき、標準的なRNNを上回る性能を発揮するか？
• RQ2 IRにLSTMを適用することで、DSSM、CLSM、R-DSSMなどの既存の最先端モデルを実世界の検索シナリオで上回るか？
• RQ3 最終シーケンス出力からのみ誤差を逆伝播させるという提案されたトレーニング戦略は、ステップ単位の監視が存在しないにもかかわらず、効果的にモデルを最適化できるか？
• RQ4 LSTM-DSSMは、語彙的不一致の影響をどの程度軽減できるか？
• RQ5 従来のシーケンスベースモデルと比較して、長大なドキュメントにおけるトピックの遷移や相関関係をより効果的に捉えることができるか？

主な発見

• LSTM-DSSMは、Bingウェブ検索データ上でのNDCG@1、NDCG@3、NDCG@10のすべての指標において、R-DSSM、DSSM、CLSM、BM25を含むすべてのベースラインを上回る性能を発揮する。
• NDCG@10は43.6%を達成し、次に優れたベースライン（CLSM：42.6%）を著しく上回る。
• NDCG@1は33.1%を達成し、RNNベースのR-DSSM（31.7%）および他のすべてのモデルを上回り、早期順位付け性能の向上が裏付けられる。
• 長期間にわたるシーケンスにおける意味的連続性の理解を要するタスクにおいて、長期的文脈を捉える能力が実証されている。
• 最終出力からのみ誤差を逆伝播する特化したトレーニング戦略により、ステップ単位の監視がなくても効果的な学習が可能であり、R-DSSMよりも収束が速い。
• 結果から、LSTMがIRタスクにうまく適応可能であり、従来のシーケンスモデルおよびバッチオブワードベースラインに対して顕著な性能向上をもたらすことが確認された。