[論文レビュー] FOBE and HOBE: First- and High-Order Bipartite Embeddings

Justin Sybrandt, Ilya Safro|arXiv (Cornell University)|May 27, 2019

Advanced Graph Neural Networks参考文献 30被引用数 9

ひとこと要約

本稿では、エッジを間接的で同型のノード近傍類似度に分解することにより、第一および高階の関係をモデル化する2つの新しい二部グラフ埋め込み手法FOBEおよびHOBEを提案する。代数的距離を用いて意味のある構造的パターンを優先することで、推薦タスクにおける性能が向上し、リンク予測においても競争力のある結果を達成する。アンサンブル手法により、事前学習済み埋め込みの共同学習によって「両方の長所を併せ持つ」表現が実現される。

ABSTRACT

Typical graph embeddings may not capture type-specific bipartite graph features that arise in such areas as recommender systems, data visualization, and drug discovery. Machine learning methods utilized in these applications would be better served with specialized embedding techniques. We propose two embeddings for bipartite graphs that decompose edges into sets of indirect relationships between node neighborhoods. When sampling higher-order relationships, we reinforce similarities through algebraic distance on graphs. We also introduce ensemble embeddings to combine both into a "best of both worlds" embedding. The proposed methods are evaluated on link prediction and recommendation tasks and compared with other state-of-the-art embeddings. While being all highly beneficial in applications, we demonstrate that none of the considered embeddings is clearly superior (in contrast to what is claimed in many papers), and discuss the trade offs present among them. Reproducibility: Our code, data sets, and results are all publicly available online at: http://sybrandt.com/2020/fobe_hobe.

研究の動機と目的

• 推薦システムやドラッグディスcoveryなどの応用分野における二部グラフ向けの特化された埋め込み技術の不足に対処すること。
• ノード近傍内の間接的関係をモデル化することで、タイプ固有の構造的特徴を捉える手法を開発すること。
• 一般的な接続ではなく、局所的で意味のある類似度に注目することで、推薦性能を向上させること。
• 第一階層と高階層のモデリングの間のトレードオフを評価すること。
• 事前学習済み埋め込みの共同学習により、統合的で頑健な表現を実現するアンサンブル手法を導入すること。

提案手法

• FOBEは、異種エッジを共有近傍からの同型ノードペアに変換することで、直接的および第一階層の関係をサンプリングする。
• HOBEはFOBEを拡張し、第二階層の関係を統合し、二部グラフ上で代数的距離を重み付けすることで、強い局所的類似度を強調する。
• 代数的距離は、構造的に意味のある関係を優先するためのヒューリスティックとして用いられ、弱いまたは一般的な接続によるノイズを低減する。
• アンサンブル手法は、非線形変換を用いて事前学習済みのFOBEおよびHOBE埋め込みを固定サイズの隠れ層に統合する。
• 自己正則化結合バージョンでは、一般化性能を向上させるとともに、結合埋め込み空間における過学習を低減するため、ノイズ除去オートエンコーダ層を追加する。
• 両アンサンブル手法とも、表現空間におけるタイプ分離を維持しながら、統一的かつ改善された埋め込みを学習する。

実験結果

リサーチクエスチョン

• RQ1 第一階層および高階層のモデリング戦略は、二部グラフにおける意味のある構造的パターンをどのように捉えているか？
• RQ2 代数的距離を用いることで、一般的な接続ではなく局所的で強い類似度に注目することで、埋め込み品質が向上するか？
• RQ3 アンサンブル学習によりFOBEとHOBEを統合することで、多様な二部グラフ応用において優れた性能が得られるか？
• RQ4 サンプリングレートおよびハイパーパrameterの複雑さが、提案手法の頑健性および一般化性能に与える影響は何か？
• RQ5 推薦またはリンク予測のどちらの応用文脈において、各手法が最も効果的か？

主な発見

• FOBEはLastFMデータセットで0.3778のスコアを記録し、すべてのベースラインを上回る最高の推薦性能を達成した。
• HOBEはDBLPの推薦タスクで強く優れた性能を示し、高階層の構造的パターンを効果的に捉えていることを示した。
• アンサンブル手法A.R.Comb.は、LastFMで0.3915の推薦スコアを達成し、共同表現学習の利点を示した。
• Amazonのリンク予測タスクでは、ハイパーパrameterが増加したため結合手法が過学習を起こし、性能が低下した。
• 感度分析の結果、HOBEの性能は低サンプリングレートでより変動が大きく、ノードあたり約32サンプルを超えると安定性が向上した。
• Amazonデータセットにおけるリンク予測において、FOBEはHOBEよりも一貫性が高かった。これは、代数的距離が一部の状況で性能を低下させる可能性のあるばらつきを引き起こす可能性を示唆している。