[論文レビュー] Binarized Collaborative Filtering with Distilling Graph Convolutional Networks

Haoyu Wang, Defu Lian+1 more|arXiv (Cornell University)|Jun 5, 2019

Recommender Systems and Techniques参考文献 24被引用数 23

ひとこと要約

本稿では、高次特徴に敏感なグラフ畳み込みネットワーク（GCN-CF）から順序付けの知識を蒸留し、二値化された協調フィルタリングモデルに統合することで、暗黙のフィードバック下でのトップ-K推薦を高速化する、DGCN-BinCFという新規フレームワークを提案する。バイナリ最適化を確率的ペナルティを用いて連続問題に再定式化することにより、SGD/Adamによる効率的な学習が可能となり、3つの実世界データセットにおいて最先端の性能を達成し、ベースラインと比較して顕著な精度向上を実現した。

ABSTRACT

The efficiency of top-K item recommendation based on implicit feedback are vital to recommender systems in real world, but it is very challenging due to the lack of negative samples and the large number of candidate items. To address the challenges, we firstly introduce an improved Graph Convolutional Network~(GCN) model with high-order feature interaction considered. Then we distill the ranking information derived from GCN into binarized collaborative filtering, which makes use of binary representation to improve the efficiency of online recommendation. However, binary codes are not only hard to be optimized but also likely to incur the loss of information during the training processing. Therefore, we propose a novel framework to convert the binary constrained optimization problem into an equivalent continuous optimization problem with a stochastic penalty. The binarized collaborative filtering model is then easily optimized by many popular solvers like SGD and Adam. The proposed algorithm is finally evaluated on three real-world datasets and shown the superiority to the competing baselines.

研究の動機と目的

• 大規模システムにおける暗黙のフィードバック下でのトップ-K推薦が遅い問題に対処すること。特に、ネガティブサンプルが乏しく、候補アイテム集合が膨大である状況を想定する。
• 離散的コード表現による情報損失が一般的な二値化協調フィルタリングの精度を向上させること。
• NP困難なバイナリ制約を連続的・微分可能な問題に変換することで、バイナリコードの効率的最適化を可能とすること。
• 新規のGCNベースモデル（GCN-CF）を用いて、ユーザーとアイテム間の高次相互作用を活用し、表現学習を強化すること。
• 高性能なGCNモデルから軽量な二値化モデルへ順序付けの知識を転送し、リアルタイム推論を可能とすること。

提案手法

• ユーザーとアイテム間の高次相互作用をクロスアテンションメカニズムを用いて統合することで、特徴表現を向上させるGCN-CFと呼ばれるグラフ畳み込みネットワークを提案する。
• 事前に学習されたGCN-CFモデルから、二値化協調フィルタリングモデル（DGCN-BinCF）へ順序付けの好みを蒸留する知識蒸留を採用する。
• 教師モデルと生徒モデルの両方の正例分布だけでなく、負例分布の乖離を最小化する、新規の蒸留損失を導入する。
• バイナリ最適化問題に確率的ペナルティ項を適用することで、バイナリ変数に対する連続的・境界制約付き最適化に再定式化し、勾配ベース最適化を可能にする。
• SGD や Adam といった標準的な最適化手法を用いて、バイナリコードの非微分性を克服しながら、二値化モデルをエンドツーエンドで学習する。
• ハッシュ化などのインデックス技術を適用し、リアルタイムのトップ-K推薦のための近似最近傍探索を線形時間以下または対数時間で実現する。

実験結果

リサーチクエスチョン

• RQ1 高次ユーザー・アイテム相互作用を捉えるGCNベースのモデルが、暗黙のフィードバック推薦における表現学習を改善できるか？
• RQ2 強力なGCNモデルからの知識蒸留が、二値化協調フィルタリングモデルの性能を効果的に向上させられるか？
• RQ3 離散的性質を持つバイナリコードであっても、勾配ベース手法を用いて効率的に最適化可能か？
• RQ4 提案フレームワークは、既存の二値推薦ベースラインを上回る推薦精度を達成できるか？
• RQ5 異なるデータセットにおいて、モデルの収束性と頑健性はどのように評価されるか？

主な発見

• DGCN-BinCFは、すべての3つのデータセット（MovieLens1M、MovieLens10M、Yelp）で最高の性能を達成し、DCF、BCCF、PPHといったSOTAベースラインをすべての評価指標で上回った。
• MovieLens1Mでは、DGCN-BinCFがRecall@100で0.2405を達成し、DCF（0.0661）、BCCF（0.0966）、PPH（0.0627）を大きく上回った。
• 提案されたGCN-CFモデルは、すべての指標でSpectralCFを20%以上上回り、高次特徴集約の有効性を実証した。
• 蒸留部は、蒸留なしで学習した二値化モデルと比較して、すべての順序付け指標で10%の向上をもたらし、順序付け知識の保持における価値を確認した。
• GCN-CFおよびDGCN-BinCFの両方の訓練損失が200エポックにわたり安定的に収束した。これは、目的関数の複雑さにもかかわらず、安定した最適化が達成されたことを示している。
• 確率的ペナルティを用いた連続的リラクゼーションにより、標準的な最適化手法を用いたバイナリコードの効果的学習が可能となり、提案された再定式化アプローチの有効性が裏付けられた。