[論文レビュー] Relation Structure-Aware Heterogeneous Information Network Embedding

Yuanfu Lu, Chuan Shi+2 more|arXiv (Cornell University)|May 15, 2019

Advanced Graph Neural Networks参考文献 31被引用数 5

ひとこと要約

本稿では、構造に配慮した測定を用いて、1人中心の他者による所属関係（1対多）とピアツーピアの相互作用関係（双方向）を区別する、新しい異種情報ネットワーク埋め込みモデルRHINEを提案する。所属関係にはユークリッド距離、相互作用関係には翻訳機構を別々に適用し、統合的なフレームワークで最適化することで、3つの実世界データセットにおいてノードクラスタリング、リンク予測、ノード分類の各タスクで最先端の性能を達成した。

ABSTRACT

Heterogeneous information network (HIN) embedding aims to embed multiple types of nodes into a low-dimensional space. Although most existing HIN embedding methods consider heterogeneous relations in HINs, they usually employ one single model for all relations without distinction, which inevitably restricts the capability of network embedding. In this paper, we take the structural characteristics of heterogeneous relations into consideration and propose a novel Relation structure-aware Heterogeneous Information Network Embedding model (RHINE). By exploring the real-world networks with thorough mathematical analysis, we present two structure-related measures which can consistently distinguish heterogeneous relations into two categories: Affiliation Relations (ARs) and Interaction Relations (IRs). To respect the distinctive characteristics of relations, in our RHINE, we propose different models specifically tailored to handle ARs and IRs, which can better capture the structures and semantics of the networks. At last, we combine and optimize these models in a unified and elegant manner. Extensive experiments on three real-world datasets demonstrate that our model significantly outperforms the state-of-the-art methods in various tasks, including node clustering, link prediction, and node classification.

研究の動機と目的

• 既存のHIN埋め込み手法が、構造的差異を無視してすべての関係を均一に扱うという限界を是正すること。
• 数学的根拠に基づいた基準を用いて、HINにおける異種関係の構造的特徴を特定・形式化すること。
• 所属関係と相互作用関係の異なる構造的パターンを尊重する、統一的ではあるが差別化された埋め込みフレームワークを設計すること。
• 関係固有のモデリングを活用することで、ノードクラスタリング、リンク予測、ノード分類といった下流タスクの性能を向上させること。

提案手法

• 本稿では、関係を2つのカテゴリに分類する2つの構造関連測定を導入する：1人中心の他者による所属関係（ARs）とピアツーピア構造の相互作用関係（IRs）。
• ARsに対しては、共通の中心を持つノード間の近接性を強制するためにユークリッド距離を用いる。これにより、「会議に発表された」のような関係の『中心性』が捉えられる。
• IRsに対しては、ノード間のベクトルオフセットとして関係をモデル化する翻訳機構を適用する。これにより、「共同著者」や「執筆者」といったピアツーピア接続に適している。
• 2つのモデルは統合的な最適化フレームワークに統合され、共有ハイパーパラメータを用いたエンドツーエンドの学習が可能になった。
• 本手法はネガティブサンプリングと確率的最適化を用いて学習され、ノード表現は構造的および意味的関係を保持するように学習される。

実験結果

リサーチクエスチョン

• RQ1 HINにおける異種関係の構造的特徴は、定量的で説明可能な基準を用いて一貫して測定・区別可能か？
• RQ2 具体的には、1人中心の他者による構造とピアツーピア構造の2種類の異なる構造的パターンを、HIN埋め込みで効果的にモデル化できるか？
• RQ3 関係タイプを別々のモデルで扱うことで、単一の統合モデルを用いる場合と比較して、表現学習の性能が向上するか？
• RQ4 統合的な最適化フレームワークは、関係固有のモデルを効果的に統合できるか？ その際、学習効率や性能が損なわれないか？

主な発見

• RHINEは、3つの実世界データセットにおいて、ノードクラスタリング、リンク予測、ノード分類の各タスクで、最先端の手法を顕著に上回った。
• DBLPおよびYelpでは、平均してベースライン比でノード分類性能が約4%向上し、クラスタリングおよびリンク予測においても一貫した向上が得られた。
• アブレーションスタディの結果、関係を区別しないモデル（RHINE_Eu）や、すべての関係に同一モデルを適用するモデル（RHINE_Tr）を用いたバージョンより、RHINEが優れていることが確認され、構造的差別化の有効性が裏付けられた。
• 関係タイプに割り当てられたモデルを逆転させた変種モデルRHINE_Re（IRsにユークリッド距離、ARsに翻訳機構を適用）は、RHINEより性能が劣っており、関係タイプに適切にモデルを割り当てる正当性が裏付けられた。
• 可視化結果から、RHINEはDeepWalkやmetapath2vecとは異なり、より一貫性があり明確なノードクラスタ（例：会議やトピックごとの論文）を学習していることが示された。
• パラメータ解析の結果、埋め込み次元数が約100、ネガティブサンプル数が3に達する段階でモデル性能が安定することが判明し、ハイパーパramータ設定に対して頑健であることが示された。