[論文レビュー] Application of Knowledge Graphs to Provide Side Information for Improved Recommendation Accuracy

Yuhao Mao, Serguei A. Mokhov+1 more|arXiv (Cornell University)|Jan 7, 2021

Recommender Systems and Techniques参考文献 15被引用数 4

ひとこと要約

本論文は、知識グラフを補助情報として統合する汎用的なソフトウェアフレームワークを提案する。製品およびユーザーのメタデータ（例：俳優、監督、ユーザーの人口統計情報）を知識グラフにエンコードし、モデル学習中にそれらを活用することで、ベースラインモデルと比較してAUCおよび精度が最大1%向上する。

ABSTRACT

Personalized recommendations are popular in these days of Internet driven activities, specifically shopping. Recommendation methods can be grouped into three major categories, content based filtering, collaborative filtering and machine learning enhanced. Information about products and preferences of different users are primarily used to infer preferences for a specific user. Inadequate information can obviously cause these methods to fail or perform poorly. The more information we provide to these methods, the more likely it is that the methods perform better. Knowledge graphs represent the current trend in recording information in the form of relations between entities, and can provide additional (side) information about products and users. Such information can be used to improve nearest neighbour search, clustering users and products, or train the neural network, when one is used. In this work, we present a new generic recommendation systems framework, that integrates knowledge graphs into the recommendation pipeline. We describe its software design and implementation, and then show through experiments, how such a framework can be specialized for a domain, say movie recommendations, and the improvements in recommendation results possible due to side information obtained from knowledge graphs representation of such information. Our framework supports different knowledge graph representation formats, and facilitates format conversion, merging and information extraction needed for training recommendation methods.

研究の動機と目的

• 伝統的な推薦システムにおけるユーザーおよびアイテムの情報不足の課題に対処する。
• 多様な補助情報を知識グラフから統合するための統一されたソフトウェアフレームワークを提供する。
• 構造的知識（例：エンティティ、関係）のスケーラブルで拡張可能かつ相互運用可能な使用を可能にし、モデルの汎化性能および解釈可能性を向上させる。
• 複数の知識表現形式および機械学習バックエンドをサポートし、広範な研究および展開互換性を実現する。
• MovieLens-1Mデータセットを用いた実証的評価を通じて、フレームワークの有効性を示す。

提案手法

• RDF、RDFS、OWL、またはNeo4j形式を用いて、補助情報（例：映画のジャンル、俳優、監督、ユーザーの年齢、職業）を知識グラフ内の三元組として表現する。
• Pythonで実装されたモジュラーなソフトウェアフレームワークを構築し、知識グラフのインジェスト、フォーマット変換、マージ、情報抽出を訓練に活用可能にする。
• 深層学習推薦モデル（MKR）と知識グラフを統合し、グラフ構造の補助情報を用いてアイテムおよびユーザーの埋め込みを拡張する。
• レーティング予測と知識に配慮した対照学習を同時に最適化するためのマルチタスク学習目的関数をMKRモデルに適用する。
• 事前学習済みのグラフ構造およびモデル重みをキャッシュすることでリアルタイム推論を可能にし、タイムスタンプ付きパイプライン実行を用いて遅延を測定する。
• 将来的な拡張性を実現するため、計画されたJava APIラッパーを提供し、複数の機械学習フレームワーク（例：PyTorch、Scikit-learn）への対応を支援する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフからの構造的補助情報の統合は、推薦モデルの精度にどのように影響するか？
• RQ2 ユーザーの人口統計情報、映画のポスター、俳優、監督などの補助情報のうち、どれが推薦パフォーマンスの向上に最も寄与しているか？
• RQ3 汎用的で拡張可能なソフトウェアフレームワークは、推薦システムにおける多様な知識グラフフォーマットおよび機械学習バックエンドを効果的にサポートできるか？
• RQ4 実時間推論遅延の観点から、既存のベースラインと比較してこのフレームワークはどのように性能を発揮するか？
• RQ5 ポスターなどのスパarsな補助情報は、モデル性能を低下させるが、特徴抽出により改善可能か？

主な発見

• ユーザーおよび映画の両方の補助情報（年齢、職業、俳優、監督など）を組み込むことで、テストAUCが0.9136に上昇し、ベースライン（0.9042）と比較して0.9%の向上を達成した。
• ユーザー側の情報（年齢、職業）が性能向上に顕著に寄与し、ベースラインに追加した際のテストAUCは0.9091に上昇した。
• 映画側の情報（ジャンル、俳優、監督）のみを用いることで、テストAUCは0.9061に上昇し、ベースラインと比較して0.2%の向上を示した。
• ポスターに基づく補助情報は、データのスパarsityのため悪影響を及ぼし、テストAUCは0.9029に低下し、精度は0.8214にまで下がった。これは、視覚的特徴抽出が行われない限り、実用的でない可能性を示唆している。
• フレームワークはラップトップ上で平均634.33msの推論遅延を達成し、2000msの実時間ベースラインをはるかに下回っており、実用的な展開可能性を示した。
• フレームワークのモジュラー設計により、RDF、OWL、Neo4jなどの複数の知識グラフフォーマットをサポートし、将来的にPyTorchやCaffeなどの追加フレームワークとの統合が可能である。