[論文レビュー] Learning Vertex Representations for Bipartite Networks

Ming Gao, Xiangnan He+4 more|arXiv (Cornell University)|Jan 16, 2019

Advanced Graph Neural Networks参考文献 47被引用数 5

ひとこと要約

本稿では、明示的リンクと高次元の暗黙的関係をモデル化することで、二部ネットワークにおける頂点表現を学習する新規手法BiNEを提案する。偏りのあるランダムウォーク生成器を用いて長尾型度数分布を保持し、複数の行列を要因分解する共同最適化フレームワークを採用することで、実世界のデータセットにおいてリンク予測および推薦タスクで既存手法を上回る性能を発揮する。

ABSTRACT

Recent years have witnessed a widespread increase of interest in network representation learning (NRL). By far most research efforts have focused on NRL for homogeneous networks like social networks where vertices are of the same type, or heterogeneous networks like knowledge graphs where vertices (and/or edges) are of different types. There has been relatively little research dedicated to NRL for bipartite networks. Arguably, generic network embedding methods like node2vec and LINE can also be applied to learn vertex embeddings for bipartite networks by ignoring the vertex type information. However, these methods are suboptimal in doing so, since real-world bipartite networks concern the relationship between two types of entities, which usually exhibit different properties and patterns from other types of network data. For example, E-Commerce recommender systems need to capture the collaborative filtering patterns between customers and products, and search engines need to consider the matching signals between queries and webpages.

研究の動機と目的

• ノード2vec や LINE のような汎用的手法がしばしば最適でない方法で処理する二部ネットワークにおけるネットワーク表現学習の研究ギャップを埋める。
• 均一なランダムウォーク戦略によって歪められがちな、二部ネットワークの頂点における長尾型度数分布を保持する。
• 同じタイプの頂点間の明示的（観測済み）関係と暗黙的（推移的）関係を同時にモデル化することで、表現品質を向上させる。
• 複数の行列因子分解への等価性を示すことで理論的基盤を提供し、解釈可能性を高める。
• 実世界の二部ネットワークデータセットを用いたリンク予測、推薦、可視化タスクにおいて、BiNEの有効性を実証的に検証する。

提案手法

• 頂点の次数に応じてウォーク数を変動させるとともに、固定長ではなく確率的ウォーク終了を許容することで、長尾型度数分布を保持する偏り付きで自己適応的なランダムウォーク生成器を設計する。
• 明示的関係（観測済みエッジ）と暗黙的関係（推移的パス）を、それぞれ専用の目的関数を用いて同時にモデル化する共同最適化フレームワークを提案する。
• BiNEが複数の行列を含む閉形式の行列因子分解プロセスに再定式化可能であることを証明することで、理論的基盤を提供し、古典的協調フィルタリングモデルと関連付ける。
• 構造的信号と関係的信号を統合することで、直接の近隣を越えた高次元の近接性をモデルが捉えることができる。
• 組み合わせ目的関数を用いた確率的勾配降下法により最適化を実行し、明示的および暗黙的関係学習のバランスをとる。
• 実装が完了し、再現性および拡張性を考慮してGitHubでコードを公開している。

実験結果

リサーチクエスチョン

• RQ1 偏り付きランダムウォーク戦略は、均一なランダムウォークと比較して、二部ネットワークにおける長尾型度数分布をより効果的に保持できるか？
• RQ2 明示的および暗黙的関係を同時にモデル化することで、二部ネットワークにおける頂点表現品質が向上するか？
• RQ3 提案手法は行列因子分解と理論的に関連付けることができるか？ これにより解釈可能性と安定性が向上するか？
• RQ4 実世界の二部ネットワークデータセットにおいて、リンク予測および推薦タスクで最先端手法と比較してBiNEはどのように性能を発揮するか？
• RQ5 本手法は、観測エッジが限られた動的またはスパースな二部ネットワークに一般化可能か？

主な発見

• BiNEは、実世界の二部ネットワークデータセット5つにおいて、ノード2vec や LINE、DeepWalk といったベースライン手法を著しく上回るリンク予測精度を達成した。
• トップN推薦タスクにおいても、高次元の近接性を捉えることで順位付け品質を向上させたため、最先端の性能を達成した。
• 広範なアブレーションスタディにより、明示的および暗黙的関係の両方をモデル化することで、明示的リンクのみを考慮するモデルと比較して顕著な性能向上が得られることを確認した。
• 理論的分析により、BiNEが複数の行列の因子分解と等価であることが示され、しっかりとした数学的基盤が得られるとともに、古典的協調フィルタリング手法と関連づけられた。
• 偏り付きランダムウォーク生成器は、ユーザ-アイテム相互作用のような実世界の二部ネットワークをモデル化する上で極めて重要な長尾型度数分布を効果的に保持した。
• 可視化結果から、学習された埋め込みが類似したユーザやアイテムのクラスタといった意味のある構造的パターンを捉えていることが示され、本手法の解釈可能性を裏付けた。