[論文レビュー] Learning to Hash with Graph Neural Networks for Recommender Systems

Qiaoyu Tan, Ninghao Liu+4 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Image and Video Retrieval Techniques参考文献 53被引用数 12

ひとこと要約

本稿では、グラフニューラルネットワークを用いて連続的グラフ埋め込みと離散的バイナリーハッシュコードを同時に学習するエンドツーエンドフレームワーク、HashGNNを提案する。勾配安定化のためのガイド付きストレートスラッシュ推定器を導入し、リンク再構築と順序保持の両方を最適化することで、HashGNNは連続モデルと同等の性能を達成しながら、推論を複数倍高速化する。

ABSTRACT

Graph representation learning has attracted much attention in supporting high quality candidate search at scale. Despite its effectiveness in learning embedding vectors for objects in the user-item interaction network, the computational costs to infer users' preferences in continuous embedding space are tremendous. In this work, we investigate the problem of hashing with graph neural networks (GNNs) for high quality retrieval, and propose a simple yet effective discrete representation learning framework to jointly learn continuous and discrete codes. Specifically, a deep hashing with GNNs (HashGNN) is presented, which consists of two components, a GNN encoder for learning node representations, and a hash layer for encoding representations to hash codes. The whole architecture is trained end-to-end by jointly optimizing two losses, i.e., reconstruction loss from reconstructing observed links, and ranking loss from preserving the relative ordering of hash codes. A novel discrete optimization strategy based on straight through estimator (STE) with guidance is proposed. The principal idea is to avoid gradient magnification in back-propagation of STE with continuous embedding guidance, in which we begin from learning an easier network that mimic the continuous embedding and let it evolve during the training until it finally goes back to STE. Comprehensive experiments over three publicly available and one real-world Alibaba company datasets demonstrate that our model not only can achieve comparable performance compared with its continuous counterpart but also runs multiple times faster during inference.

研究の動機と目的

• 大規模なレコメンデーションシステムのリコメンド段階における連続的埋め込みの推論の非効率性を解消すること。
• 高品質な連続的埋め込みと効率的なバイナリーハッシングの間のギャップを埋めることで、スケーラブルな検索を実現すること。
• 符号関数の非微分性に起因する課題を克服し、深層ハッシングにおけるGNNを用いたエンドツーエンド学習を可能にすること。
• ハッシュコードにおける相対的順序の保持を確保し、ハミング空間内での効果的な検索を実現すること。
• 離散的ハッシング学習における勾配ノイズを回避する安定な最適化戦略の開発

提案手法

• 二重ストリームアーキテクチャ：GNNエンコーダが連続的ノード表現を学習し、ハッシュ層が符号関数を介してバイナリーコードにマッピングする。
• 二つの損失の共同最適化：観測されたユーザ・アイテム相互作用を再構築するための再構築損失と、ハッシュコードの相対的類似度順序を保持するための順序損失。
• 連続的埋め込み信号を用いて符号関数の勾配バックプロパゲーションを安定化する、新規のガイド付きストレートスラッシュ推定器（STE）。
• 連続的最適化から離散的最適化へ段階的に移行するように、トレードオフハイパーパrameter $p$ を動的に調整する。これにより、学習の安定性と収束性が向上する。
• 三つ組（ユーザ、正例アイテム、負例アイテム）を用いて、順序損失のための順序信号を構築する。
• バックプロパゲーションを用いたエンドツーエンド学習により、非微分可能な符号操作にもかかわらず、効果的な勾配伝搬を実現する。

実験結果

リサーチクエスチョン

• RQ1 GNNを用いた深層ハッシングは、連続的埋め込みと同等の性能を達成しつつ、より高速な推論を可能にするか？
• RQ2 エンドツーエンドハッシング学習において、非微分可能な符号関数を通過する勾配伝搬をどのように安定化できるか？
• RQ3 ハッシュコードにおける相対的順序の保持は、ハミング空間内での検索効果性を向上させるか？
• RQ4 最適化軌道の動的調整は、モデルの収束性と性能にどのように影響を与えるか？
• RQ5 提案手法は、レコメンデーションシステムにおけるさまざまなGNNアーキテクチャに柔軟に拡張可能か？

主な発見

• HashGNNは、3つの公開データセットおよび1つの実世界のAlibabaデータセットにおいて、連続的GNNと同等のリコメンド性能を達成する。
• コン pact なバイナリーコードのおかげで、連続的埋め込みベースの手法と比較して、推論時に複数倍高速に動作する。
• ガイド付きストレートスラッシュ推定器は、標準的なSTEと比較して、学習の安定性と性能を顕著に向上させ、勾配ノイズを低減する。
• ハイパーパrameter $p$ の動的調整は、固定値を用いた場合よりも優れた性能をもたらす。これは、困難な離散的最適化をより簡単な部分問題に段階的に分解するからである。
• モデルは三つ組の数の変動に対して頑健であり、1ユーザあたり4〜10個の三つ組を使用した際に最適な性能を発揮する。
• ハッシュコードの次元 $K$ を増加させることで性能が向上し、特に小さい $K$ 値では顕著な向上が見られるが、$K$ が大きくなると増加率は鈍化する。