[論文レビュー] A General Framework for Content-enhanced Network Representation Learning

Xiaofei Sun, Jiang Guo+2 more|arXiv (Cornell University)|Oct 10, 2016

Advanced Graph Neural Networks参考文献 32被引用数 72

ひとこと要約

本稿では、テキストコンテンツを特別なノードとして扱い、統一的な最適化目的関数を用いてネットワーク構造とテキスト意味を同時にモデル化する、コンテンツ強化ネットワーク表現学習の一般枠組みCENEを提案する。実世界のデータセットを用いた実験では、ノード分類において従来手法を顕著に上回り、BiRNNベースのCENEは90%の訓練データでZhihu-Professionで66.35のF1スコアを達成し、豊富なコンテンツモデリングを統合した共同学習の有効性を示している。

ABSTRACT

This paper investigates the problem of network embedding, which aims at learning low-dimensional vector representation of nodes in networks. Most existing network embedding methods rely solely on the network structure, i.e., the linkage relationships between nodes, but ignore the rich content information associated with it, which is common in real world networks and beneficial to describing the characteristics of a node. In this paper, we propose content-enhanced network embedding (CENE), which is capable of jointly leveraging the network structure and the content information. Our approach integrates text modeling and structure modeling in a general framework by treating the content information as a special kind of node. Experiments on several real world net- works with application to node classification show that our models outperform all existing network embedding methods, demonstrating the merits of content information and joint learning.

研究の動機と目的

• テキスト、画像、メタデータなどの豊富なノードコンテンツ情報を無視する従来のネットワーク埋め込み手法の限界を解消すること。
• ネットワーク構造とテキストコンテンツを統合的にモデル化するための統一フレームワークを構築すること。
• 構造化可能で微分可能なフレームワークを用いてコンテンツ情報を統合することで、ノード分類などの下流タスクにおける性能向上を実証すること。
• テキストにとどまらず、さまざまなコンテンツモダリティへも適用可能なスケーラブルで一般化可能なアプローチを提供すること。
• 公開研究利用を目的として、ノード属性およびテキストコンテンツを備えた新しい実世界データセットをリリースすること。

提案手法

• コンテンツをネットワーク内の特別なノードとして形式化し、ノード-ノードおよびノード-コンテンツ間のリンクを持つハイブリッドネットワークを構築する。
• テキストコンテンツを深層モデル（例：RNN、BiRNN、または平均プーリング）を用いて埋め込み、コンテンツノードの表現を生成する。
• 構造的近接性（ランダムウォークを介して）とコンテンツ-テキスト類似度を最適化する統合目的関数を定義し、ハイパーパrameter α を用いて構造とコンテンツのバランスを調整する。
• ランダムウォークから得られるノードシーケンス上でスキップグラムに類似した学習を実施し、コンテンツノードをウォークプロセスに統合する。
• 構造およびコンテンツモデリングの両コンponentを逆誤差伝搬により端末から端末まで一括して学習することで、ノード表現を学習する。
• 本フレームワークは複数のコンテンツモデリング手法をサポートでき、画像などの非テキスト的コンテンツへも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク構造とテキストコンテンツの共同モデリングは、構造のみに依存する手法に比べて、ノード表現学習を改善できるか？
• RQ2 コンテンツを特別なノードタイプとして統合することで、ノード分類タスクにおける性能にどのような影響を与えるか？
• RQ3 RNNと平均プーリングなどの異なるテキストモデリング手法が、最終的なノード埋め込みに与える影響は何か？
• RQ4 構造的およびコンテンツ情報のバランス（ハイパーパrameter α で制御）がモデル性能に与える影響は何か？
• RQ5 構造的接続性に欠ける低次数ノードを、コンテンツ情報を活用することで効果的に表現できるか？

主な発見

• BiRNNベースのコンテンツモデリングを用いたCENEは、90%の訓練データでZhihu-Professionで66.35のF1スコアを達成し、半教師ありのTriDNRモデルでさえも上回った。
• RNNおよびBiRNNモデルを用いたCENEは、80%および90%の訓練データでそれぞれ65.57および66.35のF1スコアを達成し、データ分割にかかわらず高い性能を示した。
• 低次数ノードにおいても性能が顕著に向上し、図4に示すように、CENEは特に接続数が少ないノードにおいてDeepWalkを上回った。
• 性能は中間的なα値（例：α ≈ 0.5–0.8）でピークに達し、αが1.0に近づくと急激に低下した。これはコンテンツ情報が極めて重要であり、構造情報のみでは不十分であることを示している。
• Zhihuにおける場所予測タスクでは、αが増加するにつれて性能が低下した。これはネットワーク構造が場所推定にはノイズをもたらす可能性があり、コンテンツ情報の方がより有用であることを示唆している。
• モデルはk ≈ 100イテレーションで安定して収束し、さまざまなタスクおよびデータ分割に対して性能が頑健であった。