[論文レビュー] HAHE: Hierarchical Attentive Heterogeneous Information Network Embedding

Sheng Zhou, Jiajun Bu+3 more|arXiv (Cornell University)|Jan 31, 2019

Advanced Graph Neural Networks参考文献 45被引用数 23

ひとこと要約

HAHEは、メタパスとパスインスタンスの両方におけるパーソナライズドな好みをモデル化する、異種情報ネットワーク（HIN）埋め込みの階層的アテンション機構を提案する。メタパスアテンション層とパスインスタンスアテンション層を適用することで、DBLP、Yelp、IMDBなどの実世界のデータセットにおいて、ノード分類、クラスタリング、可視化のタスクで最先端の手法を上回る性能を発揮する。

ABSTRACT

Heterogeneous information network (HIN) embedding has recently attracted much attention due to its effectiveness in dealing with the complex heterogeneous data. Meta path, which connects different object types with various semantic meanings, is widely used by existing HIN embedding works. However, several challenges have not been addressed so far. First, different meta paths convey different semantic meanings, while existing works assume that all nodes share same weights for meta paths and ignore the personalized preferences of different nodes on different meta paths. Second, given a meta path, nodes in HIN are connected by path instances while existing works fail to fully explore the differences between path instances that reflect nodes' preferences in the semantic space. rTo tackle the above challenges, we propose aHierarchical Attentive Heterogeneous information network Embedding (HAHE) model to capture the personalized preferences on meta paths and path instances in each semantic space. As path instances are based on a particular meta path, a hierarchical attention mechanism is naturally utilized to model the personalized preference on meta paths and path instances. Extensive experiments on several real-world datasets show that our proposed \model model significantly outperforms the state-of-the-art methods in terms of various data mining tasks.

研究の動機と目的

• 既存のHIN埋め込み手法がすべてのメタパスを同等に扱うという制限を解消するため。
• 同じメタパス下でのパスインスタンスの違いを捉えること、これは先行研究でしばしば無視されている。
• メタパスおよびパスインスタンスの両方についてパーソナライズドなアテンション重みを学習し、埋め込み品質を向上させるモデルを開発するため。
• ノイズの多いメタパスおよびパスインスタンスに対しても頑健性を高めるとともに、アテンション係数による解釈可能性を向上させるため。
• 階層的アテンションの有効性を、複数のデータマイニングタスクにおける実世界のHINで示すため。

提案手法

• HAHEは2段階の階層的アテンション機構を採用する：メタパスアテンション層とパスインスタンスアテンション層。
• メタパスアテンション層は、異なるメタパスに対してノード固有のアテンション係数を計算し、パーソナライズドな好みを反映する。
• パスインスタンスアテンション層は、各メタパス下の個々のパスインスタンスに重要性スコアを割り当て、関連する接続を強調する。
• アテンション係数は、ノード表現と構造的文脈を考慮したニューラルネットワークによって学習される。
• ノード埋め込みは、学習されたアテンション重みに基づく隣接ノード表現の重み付き集約によって更新される。
• モデルは、学習された埋め込み空間における近接性を保持するため、コントラスト損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 階層的アテンション機構は、異種情報ネットワークにおけるメタパスのパーソナライズドな好みを効果的にモデル化できるか？
• RQ2 パスインスタンスに対するアテンションは、関連する接続とノイズの多い接続を区別することで、埋め込み品質を向上させられるか？
• RQ3 提案されたHAHEモデルは、ノード分類およびクラスタリングタスクにおいて、最先端のHIN埋め込み手法を上回る性能を示すか？
• RQ4 アテンション係数は、各ノードにとって最も関連性の高いメタパスおよびパスインスタンスを解釈可能なインサイトとして提供できるか？
• RQ5 ハイパーパrameter（埋め込み次元数および好みベクトルサイズ）の変更に対して、HAHEの性能はどれほど感度を示すか？

主な発見

• HAHEは、Metapath2Vec や HIN2Vec といった最先端手法を著しく上回り、DBLP、Yelp、IMDB データセットのノード分類において、より高い Micro-F1 スコアを達成する。
• t-SNEを用いたネットワーク可視化では、HAHEが明確なクラス分離を生み出し、同じラベルのノードがまとまってクラスタリングされていることが示された。
• メタパスの性能とその学習されたアテンション係数の間に強い正の相関が認められ、モデルが意味のある好みを捉えていることが裏付けられた。
• アテンション係数のボックスプロットから、同じメタパスに対しても異なるノードが異なる重みを割り当てていることが明らかとなり、パーソナライズドな好みのモデル化が確認された。
• HAHEはハイパーパrameterの変更に対して頑健であり、埋め込み次元が50を超えると性能低下が最小限に抑えられ、好みベクトル次元の変化に対しても安定した性能を示した。
• アテンション機構により信号対ノイズ比が向上し、タスクに関連するノードおよびパスを強調することで、モデルの解釈可能性が向上した。