[論文レビュー] Graph DNA: Deep Neighborhood Aware Graph Encoding for Collaborative Filtering

Liwei Wu, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|May 29, 2019

Caching and Content Delivery参考文献 43被引用数 4

ひとこと要約

本稿では、協調フィルタリングにおける多次元近隣情報の効率的近似にブルームフィルタを用いることで、深さに敏感なグラフ符号化手法である Graph DNA を提案する。線形時間、対数的空間で高次のグラフ構造を符号化することで、行列分解および GCN ベースのモデルにおいて、計算コストを最小限に抑えつつ顕著な性能向上を達成し、直接的な高次グラフ手法と比較して、一部のデータセットでは速度で最大 6 倍、性能で最大 15 倍の向上を達成する。

ABSTRACT

In this paper, we consider recommender systems with side information in the form of graphs. Existing collaborative filtering algorithms mainly utilize only immediate neighborhood information and have a hard time taking advantage of deeper neighborhoods beyond 1-2 hops. The main caveat of exploiting deeper graph information is the rapidly growing time and space complexity when incorporating information from these neighborhoods. In this paper, we propose using Graph DNA, a novel Deep Neighborhood Aware graph encoding algorithm, for exploiting deeper neighborhood information. DNA encoding computes approximate deep neighborhood information in linear time using Bloom filters, a space-efficient probabilistic data structure and results in a per-node encoding that is logarithmic in the number of nodes in the graph. It can be used in conjunction with both feature-based and graph-regularization-based collaborative filtering algorithms. Graph DNA has the advantages of being memory and time efficient and providing additional regularization when compared to directly using higher order graph information. We conduct experiments on real-world datasets, showing graph DNA can be easily used with 4 popular collaborative filtering algorithms and consistently leads to a performance boost with little computational and memory overhead.

研究の動機と目的

• 高次の近隣情報をグラフベースの協調フィルタリングで効率的に活用する課題に対処すること。通常、高次の近隣ノードは計算コストが高いため、その処理が困難である。
• 推薦システムに多次元グラフ情報を取り込む際の計算およびメモリ複雑性を低減すること。
• 資源使用量の指数的増加を伴わずに、より深い近隣の構造的情報を保持するスケーラブルな符号化手法を開発すること。
• 特徴ベースおよびグラフ正則化付き協調フィルタリングフレームワークの両方に統合することで、広範な適用可能性を実現すること。
• 提案手法である Graph DNA 符号化の有効性および効率性を理論的および実験的に検証すること。

提案手法

• Graph DNA は、各ノードからの指定されたホップ数以内のノード集合をブルームフィルタを用いて符号化し、深さに敏感な近隣構造を近似する。
• 各ノードの符号化は、c = O(log n) の次元を持つバイナリーベクトルであり、近隣集合の対数的空間表現を可能にする。
• グラフ隣接行列に対して反復的にブルームフィルタ演算を適用することで、線形時間で近似された近隣情報を計算する。
• 得られたノード符号化は、グラフ正則化付き行列分解や GCN ベースのモデルなど、協調フィルタリングモデルの入力特徴または正則化項として使用される。
• ブルームフィルタの確率的所属符号化により、ノード表現の平滑化を実現する暗黙の正則化を提供する。
• 本手法は明示的フィードバックおよび非明示的フィードバックの両設定をサポートし、アーキテクチャの変更なしにさまざまな協調フィルタリングアルゴリズムに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模なスパースグラフにおいて、計算コストが著しく高くなることを避けながら、協調フィルタリングのための深さに敏感な近隣情報を効率的に近似できるか？
• RQ2 多次元近隣のブルームフィルタベースの符号化は、浅い近隣情報や直接的な高次手法と比較して、推薦システムにおける一般化性能および性能向上に寄与するか？
• RQ3 直接的に高次隣接行列（例：G^4）を計算する手法と比較して、Graph DNA は時間、メモリ、予測性能の観点から、どの程度効率的かつ正確か？
• RQ4 どのような状況で深さのある近隣情報が即時の近隣情報よりも有益であり、Graph DNA はそのような情報を適応的に捉えることができるか？
• RQ5 Graph DNA の符号化とグラフ内の最短経路距離メトリクスとの間には、理論的な関係があるか？

主な発見

• 4 階の情報を利用した場合、Graph DNA は直接的な高次グラフ手法（例：G^4）と比較して、最大 15 倍の性能向上を達成し、計算時間では最大 6 倍の高速化を実現した。
• Flixster データセットでは、GRMF_DNA-3（6 ホップ）が 1 ホップの GRMF_G よりも 10 倍の性能向上を達成し、より深い情報の価値を示した。
• Douban データセットでは、GRMF_DNA-1 がすべてのベースラインを上回り、ベースライン MF よりも 1.38 倍の向上を達成した。これは、密度の高いグラフでは浅い情報がより重要である可能性を示唆している。
• Graph DNA はメモリ使用量を顕著に削減した。GRMF_DNA-1 のブルームフィルタ行列 B は、G^2 よりも非ゼロ要素が 20% 少ないが、依然として豊富な構造的情報を保持していた。
• 合成データセットでは、GRMF_DNA-3 がベースライン MF よりも相対的に 19.1% の向上を達成し、17% の向上を示した完全な G^6 よりも優れていた。
• 非明示的フィードバックタスクでは、WMF_DNA-3 が Douban で MAP を 7.1%、Flixster で 6.6% 向上させ、WMF_G と比較して最小限のオーバーヘッドで性能向上を達成した。