[論文レビュー] Toward a Deep Neural Approach for Knowledge-Based IR

Gia-Hung Nguyen, Lynda Tamine+2 more|arXiv (Cornell University)|Jun 23, 2016

Topic Modeling参考文献 18被引用数 7

ひとこと要約

本論文は、広義の情報検索における文書-クエリマッチングを向上させるために知識ベース（KB）を統合する2つのディープニューラルネットワークアーキテクチャを提案する。最初の手法は、分布的単語埋め込みと記号的KB表現を融合させ、クエリおよび文書の意味を豊かにする。第二の手法は、共同埋め込み空間を通じて潜在表現をブリッジするように、KBを意味的翻訳者として用いる。

ABSTRACT

This paper tackles the problem of the semantic gap between a document and a query within an ad-hoc information retrieval task. In this context, knowledge bases (KBs) have already been acknowledged as valuable means since they allow the representation of explicit relations between entities. However, they do not necessarily represent implicit relations that could be hidden in a corpora. This latter issue is tackled by recent works dealing with deep representation learn ing of texts. With this in mind, we argue that embedding KBs within deep neural architectures supporting documentquery matching would give rise to fine-grained latent representations of both words and their semantic relations. In this paper, we review the main approaches of neural-based document ranking as well as those approaches for latent representation of entities and relations via KBs. We then propose some avenues to incorporate KBs in deep neural approaches for document ranking. More particularly, this paper advocates that KBs can be used either to support enhanced latent representations of queries and documents based on both distributional and relational semantics or to serve as a semantic translator between their latent distributional representations.

研究の動機と目的

• ディープニューラルネットワークを用いて、アドホック情報検索におけるクエリと文書の間の意味的ギャップを解消すること。
• 純粋な分布的単語埋め込みの限界を補完するために、知識ベースからの記号的・関係的意味論を取り入れること。
• 統一されたニューラルアーキテクチャ内で分布的意味論と関係的意味論を組み合わせることで、文書-クエリマッチングを改善すること。
• KBを意味的翻訳者として活用し、クエリと文書の潜在表現を共有埋め込み空間で一致させること。
• コーパス由来の分布的意味論と構造的KB由来の関係的意味論の両方を活用することで、IRにおける関連性スコアリングを向上させること。

提案手法

• テキストコーパスからの単語埋め込みと、知識ベースから導出された概念埋め込みを統合するハイブリッド表現層を提案。グラフ構造と関係性を保持する。
• 深層意味的構造モデル（DSSM）フレームワークを用い、強化されたクエリおよび文書表現を低次元の潜在的意味空間に射影する。
• KBが中間的要因として機能する3入力ニューラルアーキテクチャを導入。クエリと文書表現間の翻訳ベクトルを学習する。
• 共同埋め込み学習を用い、クエリ、文書、およびKB由来の概念-関係ベクトルを共有の連続空間にマップし、類似度計算を実現する。
• ニューラルネットワークを用いて、語彙ベースと概念ベースの表現の非線形変換を学習し、細分化された意味的マッチングを可能にする。
• 知識ベースの部分グラフ埋め込みを活用し、文書およびクエリ内のエンティティ間の合成的関係をモデル化。意味の豊かさを向上させる。

実験結果

リサーチクエスチョン

• RQ1 知識ベースをどのように効果的にディープニューラルアーキテクチャに統合することで、アドホックIRにおける文書-クエリマッチングを向上させられるか？
• RQ2 テキスト由来の分布的意味論とKB由来の記号的意味論を組み合わせることで、クエリおよび文書のより優れた潜在的表現が得られるか？
• RQ3 知識ベースが、クエリと文書の間の語彙ギャップを埋める意味的翻訳者として、どの程度有効に機能できるか？
• RQ4 KB由来の関係的構造を含めることで、単語のみの埋め込みと比較して、ディープニューラルIRモデルの性能がどの程度向上するか？
• RQ5 文書-クエリ関連性とKB由来の意味的整合性の両方を統合的に学習するのに最適なアーキテクチャ設計は何か？

主な発見

• 知識ベースをディープニューラルIRモデルに統合することで、分布的意味論と関係的意味論を組み合わせることで、クエリおよび文書の表現が向上する。
• 提案されたKBベースの翻訳モデルにより、埋め込み空間における意味的メディエーターとしての役割を果たすことで、クエリと文書表現のより効果的な一致が実現される。
• 単語埋め込みと構造的KB由来の概念埋め込みを融合させることで、単語のみのモデルと比較して、より豊かで意味的に情報に基づいた潜在的表現が得られる。
• KBの部分グラフ埋め込みの使用により、合成的関係のモデル化が可能になり、複雑な意味的関係を捉える能力が向上する。
• 強化された表現とKBを介した翻訳という二重のアプローチは、IRタスクにおける関連性スコアリングの向上に潜在的である。
• このフレームワークはDSSMに限定されず、RNNやメモリネットワークなどの他のディープラーニングアーキテクチャにも適応可能である。