[論文レビュー] Improving Textual Network Learning with Variational Homophilic Embeddings

Wenlin Wang, Chenyang Tao+8 more|arXiv (Cornell University)|Sep 30, 2019

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、変分オートエンコーダーを用いてテキスト意味を統合的にモデル化し、新たな同質的事前分布を用いて接続された頂点の類似した埋め込みを促進することで、ネットワークトポロジーを同時にモデル化する完全生成的ネットワーク埋め込みモデル、Variational Homophilic Embedding (VHE) を提案する。VHE は、実世界のネットワークにおいてリンク予測および頂点分類の分野で最先端の性能を達成しており、未観測頂点への一般化性能と欠落エッジに対するロバスト性が向上している。

ABSTRACT

The performance of many network learning applications crucially hinges on the success of network embedding algorithms, which aim to encode rich network information into low-dimensional vertex-based vector representations. This paper considers a novel variational formulation of network embeddings, with special focus on textual networks. Different from most existing methods that optimize a discriminative objective, we introduce Variational Homophilic Embedding (VHE), a fully generative model that learns network embeddings by modeling the semantic (textual) information with a variational autoencoder, while accounting for the structural (topology) information through a novel homophilic prior design. Homophilic vertex embeddings encourage similar embedding vectors for related (connected) vertices. The proposed VHE promises better generalization for downstream tasks, robustness to incomplete observations, and the ability to generalize to unseen vertices. Extensive experiments on real-world networks, for multiple tasks, demonstrate that the proposed method consistently achieves superior performance relative to competing state-of-the-art approaches.

研究の動機と目的

• リンク予測の精度を最優先とする判別的ネットワーク埋め込みモデルの一般化性能およびロバスト性の欠如という限界を是正すること。
• 頂点属性（例：テキスト）とネットワークトポロジーの両方を変分ベイズフレームワークを用いて完全に生成的アプローチでモデル化すること。
• 類似した頂点がより多く接続されるという同質性（homophily）を、潜在空間の事前分布に組み込むことで、埋め込み品質の向上を図ること。
• 未観測頂点への一般化および不完全または欠落したエッジ観測に対するロバスト性を可能にすること。
• 局所的意味的モデリングを改善するための語句から単語へのアライメントスキームを導入することで、テキストネットワークにおける表現学習を強化すること。

提案手法

• VHE は、頂点ペairに対する生成的プロセスとしてネットワーク埋め込みを定式化し、変分オートエンコーダーを用いてテキストと接続性の同時尤度をモデル化する。
• 接続された頂点に対して類似した潜在表現を促進するため、新たな同質的事前分布を導入し、構造的情報を活用して埋め込み空間を正則化する。
• テキスト内の局所的意味的依存関係を捉えるために、語句から単語へのアライメントメカニズムを用いることで、テキスト埋め込みの品質を向上させる。
• エンコーダーは各頂点に対して意味的および構造的埋め込みを生成し、後者は同質的事前分布を通じてネットワークトポロジーに影響を受ける。
• 潜在空間における確率的ドロップアウトを統合することで不確実性推定を実現し、欠落エッジに対するロバスト性および未観測頂点への一般化性能を向上させる。
• モデルは、データ尤度の下界（ELBO）を最大化することでエンドツーエンドに訓練され、テキストと構造の再構成のバランスが取られる。

実験結果

リサーチクエスチョン

• RQ1 テキストとネットワークトポロジーを同時にモデル化する完全生成的モデルは、判別的ベースラインを上回るネットワーク表現学習性能を達成できるか？
• RQ2 接続された頂点に類似した埋め込みを促進する同質的事前分布を組み込むことで、モデルの一般化性能およびロバスト性にどのような影響を与えるか？
• RQ3 訓練データにエッジ欠落が含まれる場合、モデルはどれほど未観測頂点への一般化性能を維持できるか？
• RQ4 語句から単語へのアライメントスキームは、テキストネットワークデータの局所的意味的構造をどれほど効果的に捉えられるか？
• RQ5 ドロップアウトによる不確実性推定は、不完全な観測下でのリンク予測性能にどのような影響を与えるか？

主な発見

• VHE は、Cora、PubMed、Zhihu を含む複数の実世界ネットワークにおいて、リンク予測で最先端の手法を常に上回り、競合モデルを上回る AUC スコアを達成している。
• Cora データセットでは、95％の訓練エッジ条件下で AUC が 0.928 を達成し、部分的監視下でも強力な性能を示している。
• 未観測頂点のテストにおいても、VHE は訓練時におけるエッジ観測率がたった 15％ であっても高い性能（AUC ≈ 0.89）を維持し、判別的モデルを上回っている。
• アブレーションスタディの結果、構造的埋め込みを削除すると Cora および HepTh で AUC が約 2 ポints 減少し、構造的パターンの捉え方におけるその重要性が示された。
• 感度分析から、同質性要因 λ を増加させることで性能が向上し、最適な結果は λ = 1.0 のときで観測された。また、α = 1.0 のドロップアウト比であってもモデルはロバスト性を保っている。
• 語句から単語へのアライメントスキームは、意味的モデリングの向上に寄与しており、全データセットにおいて下流タスクでの一貫した性能向上が確認された。