[論文レビュー] Representation Learning for Heterogeneous Information Networks via Embedding Events

Guoji Fu, Bo Yuan+2 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Graph Neural Networks参考文献 30被引用数 4

ひとこと要約

本稿では、関係をイベントとしてモデル化することで、オブジェクト間相互作用の数量的および意味的性質を捉えることのできる、異種情報ネットワーク（HINs）のための新しいネットワーク表現学習フレームワーク、Event2vecを提案する。イベント駆動型の一次的および二次的近接性を定義し、オートエンコーダベースのイベント埋め込みモジュールを用いることで、最先端の手法よりも構造的および意味的情報をより効果的に保持する。4つの実世界データセットにおいて、リンク予測、ノード分類、ネットワーク再構築の各タスクで優れた性能を達成する。

ABSTRACT

Network representation learning (NRL) has been widely used to help analyze large-scale networks through mapping original networks into a low-dimensional vector space. However, existing NRL methods ignore the impact of properties of relations on the object relevance in heterogeneous information networks (HINs). To tackle this issue, this paper proposes a new NRL framework, called Event2vec, for HINs to consider both quantities and properties of relations during the representation learning process. Specifically, an event (i.e., a complete semantic unit) is used to represent the relation among multiple objects, and both event-driven first-order and second-order proximities are defined to measure the object relevance according to the quantities and properties of relations. We theoretically prove how event-driven proximities can be preserved in the embedding space by Event2vec, which utilizes event embeddings to facilitate learning the object embeddings. Experimental studies demonstrate the advantages of Event2vec over state-of-the-art algorithms on four real-world datasets and three network analysis tasks (including network reconstruction, link prediction, and node classification).

研究の動機と目的

• 既存のHIN表現学習手法が、複数オブジェクト関係の意味的性質を無視するという限界に対処すること。
• オブジェクトの関連性を、共有イベントの数（一次的近接性）だけでなく、それらのイベント構造の類似性（二次的近接性）によってもモデル化すること。
• 低次元埋め込みにイベント駆動型の両近接性を効果的に保持するスケーラブルなフレームワークを開発すること。
• 実世界のHINにおける実験的評価を通じて、イベントベース表現学習の有効性を示すこと。

提案手法

• イベントは、HINにおける複数オブジェクト間の関係を表す完全な意味的単位として定義され、たとえば複数の著者によって共同で執筆され、会議に発表された論文などである。
• イベント駆動型一次的近接性（EFP）は、共有イベントの数に基づいてオブジェクトの関連性を測定するが、イベント駆動型二次的近接性（ESP）は、イベント集合の類似性に基づいて測定する。
• イベントとオブジェクトのインシデント行列の再構成を通じてイベント埋め込みを学習するため、オートエンコーダが用いられ、非ゼロ要素に対してペナルティを課すことで、正確なリンク再構築を優先する。
• オブジェクト埋め込みは、EFPとESPの両方を埋め込み空間で保持するように学習され、近接性測定値とベクトル類似度を一致させるためのコントラスト型損失目的関数が用いられる。
• 理論的分析により、提案された最適化フレームワーク下で、埋め込み空間にEFPおよびESPが保持されることを証明した。
• フレームワークは2段階でエンドツーエンドに訓練される：まずイベント埋め込みを学習し、次にそれらを用いて近接性保持によりオブジェクト埋め込みを学習する。

実験結果

リサーチクエスチョン

• RQ1 複数オブジェクト関係を意味的イベントとしてモデル化することで、異種情報ネットワークにおける表現学習が向上するか？
• RQ2 イベントの数量（EFP）とイベント性質の類似性（ESP）は、HINにおけるオブジェクト関連性にどのように統合的に影響を与えるか？
• RQ3 イベント埋め込みを用いた2段階学習フレームワークは、オブジェクト埋め込みにEFPとESPの両方を効果的に保持できるか？
• RQ4 提案されたEvent2vecフレームワークは、下流のネットワーク解析タスクにおいて最先端手法と比較してどのように優れているか？
• RQ5 埋め込み次元数やオートエンコーダの深さといったモデルハイパーパrameterの性能に与える影響は何か？

主な発見

• Event2vecは、DBLP や IMDB を含む4つの実世界HINにおいて、リンク予測およびノード分類タスクで最先端手法を顕著に上回った。
• DBLP データセットでは、ノード分類でAUC 0.921を達成し、次に優れたベースラインを3ポイント以上上回った。
• ネットワーク再構築において、Event2vecは構造的情報をDeepWalk や node2vec よりもより効果的に保持したが、これらは意味的整合性に欠けていた。
• Event2vecの性能はハイパーパrameterの変動に対して頑健であり、最適な性能は埋め込み次元数 d=32 およびインシデント行列の非ゼロ要素に対するペナルティ率 β=10 で達成された。
• 7層を超える深いオートエンコーダは過学習を引き起こし、性能が低下したため、イベント埋め込み学習には単純なモデルが十分で、かつより安定であることが示された。
• 理論的分析により、学習プロセスが埋め込み空間にイベント駆動型一次的および二次的近接性の両方を保持していることが確認され、フレームワーク設計の妥当性が裏付けられた。