[論文レビュー] Neural IR Meets Graph Embedding: A Ranking Model for Product Search

Yuan Zhang, Dong Wang+1 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Graph Neural Networks参考文献 48被引用数 8

ひとこと要約

この論文では、クリックスルーデータと多様なユーザー行動データを活用するためのグラフ埋め込み技術を統合した神経ランキングモデルGEPSを提案する。長期間にわたるクエリやレアアイテムのパフォーマンスを著しく向上させ、神経情報検索フレームワークにグラフ構造の特徴を組み込むことで、意味的マッチングと推移的関連性の推論が向上し、実世界の電子商取引データセットにおいて強力なベースラインを上回る性能を発揮する。

ABSTRACT

Recently, neural models for information retrieval are becoming increasingly popular. They provide effective approaches for product search due to their competitive advantages in semantic matching. However, it is challenging to use graph-based features, though proved very useful in IR literature, in these neural approaches. In this paper, we leverage the recent advances in graph embedding techniques to enable neural retrieval models to exploit graph-structured data for automatic feature extraction. The proposed approach can not only help to overcome the long-tail problem of click-through data, but also incorporate external heterogeneous information to improve search results. Extensive experiments on a real-world e-commerce dataset demonstrate significant improvement achieved by our proposed approach over multiple strong baselines both as an individual retrieval model and as a feature used in learning-to-rank frameworks.

研究の動機と目的

• 電子商取引の検索で一般的に見られるクリックスルーデータの長期間スパarsity問題に対処すること。
• 神経ランキングモデルがクリックグラフや共購入ネットワークなどのグラフ構造のデータを効果的に活用できるようにすること。
• グラフベースの誘導的バイアスを通じて、推移的関連性を捉えることでリtrievalパフォーマンスを向上させること。
• 教師あり神経ランキングモデルと教師なしグラフベース特徴を組み合わせること。
• 外部の多様な情報源を神経情報検索システムに効果的かつスケーラブルに統合する方法を提供すること。

提案手法

• モデルは、事前学習されたグラフ埋め込み（例：node2vec）を用いて、クエリ、製品、ユーザーセッションを共通のベクトル空間に表現する。
• グラフ埋め込みは、クリックスルーおよび共起データから得られ、ユーザー行動の異種グラフを形成する。
• これらの埋め込みは、クエリおよび製品の表現と連結され、ランキング用の深層ニューラルネットワークの入力特徴として使用される。
• ニューラルモデルは、結合された入力特徴から非線形関連性関数を学習するためにマルチレイヤーパーセプトロンを採用する。
• アプローチは、関連性をグラフ内でのクエリ-製品ペアの接続確率としてモデル化するリンク予測タスクとして扱う。
• 事前計算された埋め込みを介してグラフ構造とニューラルネットワークを分離することで、エンドツーエンドのGCNアプローチよりもスケーラビリティが向上する。

実験結果

リサーチクエスチョン

• RQ1 グラフ埋め込み技術を神経情報検索モデルに効果的に統合することで、製品検索のランキング性能を向上させることができるか？
• RQ2 グラフ構造のクリックスルーデータを統合することで、長期間クエリやレアアイテムのパフォーマンスにどのような影響を与えるか？
• RQ3 グラフ埋め込みが、単独のニューラルネットワークでは容易に学習できない推移的関連性関係をどの程度捉えることができるか？
• RQ4 トレーニングデータがスパースまたは不完全であっても、グラフベースの特徴がニューラルモデルを向上させることができるか？
• RQ5 提案手法は、スタンドアロンおよびラーニングトゥランク設定の両方で、強力なニューラルおよびグラフベースのベースラインと比較してどのように評価されるか？

主な発見

• 提案されたGEPSモデルは、実世界の電子商取引データセットにおいて、強力なニューラルおよびグラフベースのベースラインを著しく上回るパフォーランスを達成した。
• GEPSは、特に長期間クエリにおいて、平均適合率（MAP）および正規化済みディスcount累積利得（NDCG）の複数の指標で顕著な向上を示した。
• モデルはデータスパarsityに対して頑健であり、標準的なニューラルモデルよりも、まれなクエリや製品への一般化性能が優れていた。
• グラフ埋め込みを介して共視・共購入アイテムなどの多様な信号を統合することで、リtrieval精度に明確な向上が見られた。
• グラフ埋め込みの統合により、グラフ内の間接的接続を通じて類似性が伝搬される推移的関連性の捉えがより良くなることが明らかになった。
• グラフ埋め込みの誘導的バイアスのおかげで、未学習のクエリや製品が登場しても、スケーラブルかつ効果的な性能を発揮できる。