[論文レビュー] Side Information Fusion for Recommender Systems over Heterogeneous Information Network

Huan Zhao, Quanming Yao+3 more|arXiv (Cornell University)|Jan 8, 2018

Recommender Systems and Techniques参考文献 14被引用数 6

ひとこと要約

本稿は、異種情報ネットワーク（HIN）を用いて、ユーザーとアイテム間の複雑な意味的類似性を捉えるためにメタグラフを活用する、推薦システムにおけるサイド情報統合のための新規フレームワークを提案する。2つのモデル—'MF + FM' および階層的アテンション統合（HAF）—を導入し、複数のメタグラフからの潜在特徴を統合的に学習することで、4つの実世界データセットにおいて最先端の手法を大きく上回る推薦精度を達成する。

ABSTRACT

Collaborative filtering (CF) has been one of the most important and popular recommendation methods, which aims at predicting users' preferences (ratings) based on their past behaviors. Recently, various types of side information beyond the explicit ratings users give to items, such as social connections among users and metadata of items, have been introduced into CF and shown to be useful for improving recommendation performance. However, previous works process different types of information separately, thus failing to capture the correlations that might exist across them. To address this problem, in this work, we study the application of heterogeneous information network (HIN) to enhance CF-based recommendation methods. However, we face challenging issues in HIN-based recommendation, i.e., how to capture similarities of complex semantics between users and items in a HIN, and how to effectively fuse these similarities to improve final recommendation performance. To address these issues, we apply metagraph to similarity computation and solve the information fusion problem with a ``matrix factorization (MF) + factorization machine (FM)'' framework. For the MF part, we obtain the user-item similarity matrix from each metagraph and then apply low-rank matrix approximation to obtain latent features for both users and items. For the FM part, we apply FM with Group lasso (FMG) on the features obtained from the MF part to train the recommending model and, at the same time, identify the useful metagraphs. Besides FMG, a two-stage method, we further propose an end-to-end method, hierarchical attention fusing (HAF), to fuse metagraph based similarities for the final recommendation. Experimental results on four large real-world datasets show that the two proposed frameworks significantly outperform existing state-of-the-art methods in terms of recommendation performance.

研究の動機と目的

• 既存の協調フィルタリング手法が、例えばソーシャル、テキスト、メタデータなどのサイド情報タイプを個別に処理するため、相互関係が失われるという限界に対処する。
• 従来のメタパスの意味的制限を克服し、異種情報ネットワーク（HIN）における複雑な多ホップ関係をモデル化するためにメタグラフを導入する。
• 複数のメタグラフから得られる類似性を統合する包括的なフレームワークを構築し、ユーザー・アイテム推薦性能を向上させる。
• 階層的アテンション機構を用いて、メタグラフの重要度と特徴統合を効果的かつエンドツーエンドで学習可能にする。
• 多様な実世界データセットにおいて、提案手法の推薦精度が既存の最先端手法を上回ることを実証する。

提案手法

• HIN 内のノード型およびエッジ型の系列として定義されるメタグラフを用い、ユーザーとアイテム間の複雑な意味的経路（例：User → Review → Aspect → User → Business）を特定する。
• 各メタグラフのユーザー・アイテム類似度行列に対して、核ノルム正則化を施した行列分解（MF）を適用し、非教師ありで低ランクの潜在特徴をユーザーおよびアイテムに対して抽出する。
• グループラッソ正則化を施した因子分解マシン（FMG）を用いて、異なるメタグラフから得られる潜在特徴を統合し、情報量の多いメタグラフの自動選択を可能にする。
• ノードレベルおよびメタグラフレベルのアテンション機構を適用するエンドツーエンドのディープラーニングモデル、階層的アテンション統合（HAF）を提案する。
• ノードレベルではマルチヘッドアテンション機構を、メタグラフレベルでは学習可能なアテンションベクトルを用いて、関連性の高い意味的経路を優先的に重み付け・統合する。
• 確率的勾配降下法を用いてモデルを最適化し、早期停止を適用する。また、埋め込み次元、アテンションヘッド数、アテンションベクトルサイズなどのハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 ソーシャル、テキスト、メタデータなどの複数のサイド情報タイプを、統合的なフレームワーク内でどのように効果的に統合できるか？
• RQ2 従来のメタパスを越えて、メタグラフが異種情報ネットワーク内での複雑な意味的関係をどの程度効果的に捉えることができるか？
• RQ3 階層的アテンションのような学習可能な統合機構は、手動設計または正則化された統合戦略を上回る性能を発揮できるか？
• RQ4 レビューおよびアスペクトを含むような特定のメタグラフ（例：U→R→A→U→B）は、実世界の推薦シナリオにおいてユーザーの好みを予測する上で最も予測力があるか？
• RQ5 埋め込み次元やアテンションヘッド数などのハイパーパrameterは、提案された HAF モデルの性能にどのように影響を与えるか？

主な発見

• 提案された HAF モデルは、4つのすべてのデータセット（Amazon、Yelp、Diginom、およびもう一つ）で最良の性能を達成し、最先端のベースラインと比較してテスト RMSE 値が顕著に低かった。
• Amazon データセットでは、HAF がテスト RMSE 0.852 を達成し、2番目に良い手法を5.7%上回った。これは、複雑な意味的関係を効果的に捉えていることを示している。
• グループラッソ正則化を施した MF+FM フレームワークは、情報量の多いメタグラフを効果的に同定・優先順位付けし、不要なサイド情報からのノイズを低減し、一般化性能を向上させた。
• HAF の階層的アテンション機構は、意味的に豊かなメタグラフ（例：U→R→A→U→B：User→Review→Aspect→User→Business）に高いアテンション重みを割り当てることを学習した。これは、テキスト的およびレーティングベースの類似性を捉える上で不可欠な経路である。
• ハイパーパラメータのアブレーション分析から、出力埋め込み次元が 32、Amazon では 3 個のアテンションヘッド、Yelp では 4 個のアテンションヘッド、メタグラフレベルのアテンションベクトルサイズが 32 の組み合わせが最適な性能を発揮した。
• アテンション重みの可視化により、レビューテキスト内のアスペクトの言及を含むメタグラフが一貫して重要度が高くランク付けされた。これは、Amazon や Yelp のようなプラットフォームにおいてレビューテキストが果たす影響力と整合的である。