[論文レビュー] Deep Learning Relevance: Creating Relevant Information (as Opposed to Retrieving it)

Christina Lioma, Birger Larsen+2 more|VBN Forskningsportal (Aalborg Universitet)|Jun 24, 2016

Topic Modeling参考文献 19被引用数 5

ひとこと要約

本論文は、既存の関連ドキュメントから学習するRNN（再帰的ニューラルネットワーク）を用いた情報検索の新規アプローチを提案する。LSTM（長短記憶）を備えたこのRNNは、与えられたクエリに対して、1つの新しい、より関連性の高いドキュメントを合成する。クラウドソーシングを用いたワードクラウドの順位付けにより、合成ドキュメントは平均して最も関連性が高いと評価され、全クエリにおいて平均順位位置1.81を記録した。

ABSTRACT

What if Information Retrieval (IR) systems did not just retrieve relevant information that is stored in their indices, but could also "understand" it and synthesise it into a single document? We present a preliminary study that makes a first step towards answering this question. Given a query, we train a Recurrent Neural Network (RNN) on existing relevant information to that query. We then use the RNN to "deep learn" a single, synthetic, and we assume, relevant document for that query. We design a crowdsourcing experiment to assess how relevant the "deep learned" document is, compared to existing relevant documents. Users are shown a query and four wordclouds (of three existing relevant documents and our deep learned synthetic document). The synthetic document is ranked on average most relevant of all.

研究の動機と目的

• 情報検索システムが、インデックス化されたドキュメントの検索を越えて、意味的に整合性があり、関連性の高い新しいドキュメントを生成できるかを検討すること。
• 深層学習モデルが関連ドキュメントから潜在的な意味構造を学習し、クエリに対して1つの統合的で合成されたドキュメントを生成できるかを調査すること。
• 合成ドキュメントと既存の関連ドキュメントとの間で、ユーザーの関連性認識を評価すること。
• RNNを用いて文字レベルの埋め込みを適用することで、一貫性があり関連性の高い合成コンテンツを生成する可能性を検証すること。

提案手法

• クエリとその既知の関連ドキュメントのテキストを学習データとして用い、文字レベルの長短記憶（LSTM）を備えた再帰的ニューラルネットワーク（RNN）を訓練し、合成ドキュメントを生成する。
• RNNは文字のシーケンスを処理することで、入力ドキュメントの意味的構造を学習し、訓練ドキュメントの内容を反映した新しい一貫性のあるテキストを生成できる。
• ユーザーによる迅速な視覚的評価を可能にするために、合成ドキュメントおよび3つの既存の関連ドキュメントからワードクラウドを生成する。
• クラウドソーシング実験では、各クエリに対して4つのワードクラウド（3つの実際のドキュメント、1つの合成ドキュメント）を提示し、関連性の高さに基づいて順位付けして、ユーザーがドキュメントの質を評価する。
• モデルは、時間軸に沿った誤差逆伝播（backpropagation through time）を用いて訓練され、文字シーケンスの予測誤差を最小化することで、妥当で関連性の高いテキストを生成する能力を学習する。
• 本手法は、学習データセットに含まれるすべての関連情報を統合した合成ドキュメントが、個々のドキュメントよりも関連性が高いと仮定している。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、与えられたクエリに対して、既存の関連ドキュメントよりも関連性が高いと認識される合成ドキュメントを生成できるか？
• RQ2 RNNを用いて文字レベルの埋め込みを適用することで、既存のIRドキュメントから意味的に整合性があり関連性の高いテキストを合成できるか？
• RQ3 ユーザーの関連性認識において、合成ドキュメントと実際のインデックス済み関連ドキュメントの間にはどのような差があるか？
• RQ4 視覚的表現の選択（例：ワードクラウド）は、ユーザーによるドキュメント関連性の評価にどのような影響を及えるか？

主な発見

• 合成ドキュメントは、全クエリおよびユーザー平均で最も関連性が高いと評価され、平均順位位置は1.81であった。
• 101件のクエリのうち45件で合成ドキュメントが1位にランク付けされ、42件が2位であった。これはユーザーの強い好まれ方を示している。
• 合成ドキュメントが最後位（4位）にランク付けされたのは2件のみで、両者とも1〜2語が視覚的に優位に現れ、他の内容が見えにくくなり、関連性の低さが感じ取られたためであった。
• 結果から、RNNを用いた合成によって、個々の検索されたドキュメントよりも関連性が高いと認識されるドキュメントを生成できることが示唆された。これは、簡略化されたワードクラウドを用いた評価でも同様の傾向が見られた。
• ユーザーの認識において、本手法はベースライン検索を上回っており、合成ドキュメント生成がIRの関連性を向上させうることを示している。
• 本手法はトップ検索ドキュメントの再順位付けには有望であるが、インデックス内の全ドキュメントに適用した場合には、やや効果が薄かった。