[論文レビュー] CARL: Content-Aware Representation Learning for Heterogeneous Networks

Chuxu Zhang, Ananthram Swami+1 more|arXiv (Cornell University)|May 14, 2018

Advanced Graph Neural Networks参考文献 25被引用数 3

ひとこと要約

CARLは、構造的関係と意味的関係の両方を捉えるために、異種ネットワークにおけるコンテンツに配慮した表現学習フレームワークを提案する。これは、異種SkipGramとディープ意味的符号化を統合的に最適化することで、ノード間の構造的および意味的関係を捉える。リンク予測、ドキュメント検索、ノード推薦、関連性検索の各タスクで最先端の性能を達成し、拡大するネットワークにおけるインクリメンタルなノード表現学習のための効果的なオンライン更新モジュールを備えている。

ABSTRACT

Heterogeneous networks not only present a challenge of heterogeneity in the types of nodes and relations, but also the attributes and content associated with the nodes. While recent works have looked at representation learning on homogeneous and heterogeneous networks, there is no work that has collectively addressed the following challenges: (a) the heterogeneous structural information of the network consisting of multiple types of nodes and relations; (b) the unstructured semantic content (e.g., text) associated with nodes; and (c) online updates due to incoming new nodes in growing network. We address these challenges by developing a Content-Aware Representation Learning model (CARL). CARL performs joint optimization of heterogeneous SkipGram and deep semantic encoding for capturing both heterogeneous structural closeness and unstructured semantic relations among all nodes, as function of node content, that exist in the network. Furthermore, an additional online update module is proposed for efficiently learning representations of incoming nodes. Extensive experiments demonstrate that CARL outperforms state-of-the-art baselines in various heterogeneous network mining tasks, such as link prediction, document retrieval, node recommendation and relevance search. We also demonstrate the effectiveness of the CARL's online update module through a category visualization study.

研究の動機と目的

• 複数のノードタイプ、関係、および非構造化コンテンツを統合する異種情報ネットワーク（HetNets）において、効果的なノード表現を学習する課題に対処すること。
• ノードの構造的近接性（異種SkipGramを介して）と意味的類似性（ノードコンテンツのディープ意味的符号化を介して）を統合的にモデル化することで、表現学習の向上を図ること。
• 成長するHetNetsにおける新規ノードの表現を、専用のオンライン更新モジュールを用いて効率的かつインクリメンタルに学習可能にする。
• 従来のモデルが構造的情報に依存するのみで、動的ネットワークにスケーリングできないという限界を克服すること。

提案手法

• CARLは、メタパスに基づくランダムウォークのサンプリングにより、複数のノードタイプおよび関係タイプにわたる構造的近接性を保持する異種SkipGramモデルを採用する。
• 特定のノードタイプ（例：論文の要約）に関連する非構造化テキストコンテンツを符号化するために、深層意味的符号化（例：BiLSTMやCNNなどのニューラルネットワークを用いる）を統合する。
• ネガティブサンプリングおよびウォークサンプリング戦略を用いて、異種SkipGramと意味的符号化の目的関数を統合的に最適化する。
• 新しいノードの表現を、既存のノードとの接続関係と、隣接ノードの事前に学習された表現を活用することで推論する、オンライン更新モジュールを設計する。
• エンドツーエンドのトレーニングと推論をサポートし、フル再トレーニングなしに動的ネットワークの成長に対応可能である。
• 新規に追加されたノードの表現の品質を可視化および検証するために、TensorFlowの埋め込みプロジェクタが使用される。

実験結果

リサーチクエスチョン

• RQ1 統合的な表現学習フレームワークは、異種ネットワークにおける構造的および意味的関係を効果的に捉えることができるか？
• RQ2 ノードに関連する非構造化テキストコンテンツを、ネットワーク表現学習に統合することで、意味的関連性の向上が図れるか？
• RQ3 オンライン更新メカニズムは、モデル全体の再トレーニングなしに、新規ノードの表現を効率的に学習できるか？
• RQ4 構造的および意味的信号の統合的モデリングは、リンク予測やノード推薦などの下流タスクにおける性能向上に寄与するか？

主な発見

• CARLは、リンク予測、ドキュメント検索、ノード推薦、関連性検索といった複数のHetNetマイニングタスクにおいて、最先端のベースラインを上回る性能を達成した。
• ディープ意味的エンコーダーは、新規の論文について意味的な表現を効果的に推論し、同じ研究分野（例：DM、CV、HCI）に属する論文が2次元および3次元の可視化で密にクラスタリングされた。
• オンライン更新モジュールは、新規の著者についての表現を効果的に学習し、研究分野ごとに明確に分離したクラスタリングが可視化で確認された。
• 分野可視化の研究により、オンライン更新モジュールが新規に追加されたノードの意味的および構造的忠実性を保持していることが確認された。
• 異種SkipGramと意味的符号化の統合的最適化により、構造に依存するモデルよりも、より強固で判別力の高いノード表現が得られた。