[論文レビュー] Diffusion Maps for Textual Network Embedding

Xinyuan Zhang, Yitong Li+2 more|arXiv (Cornell University)|May 24, 2018

Opinion Dynamics and Social Influence被引用数 19

ひとこと要約

本稿では、高次近接性を捉えるために拡散畳み込み演算を用いて、グローバルなグラフ構造とテキスト表現を統合する、テキストネットワーク埋め込みのための拡散マップ（DMTE）を提案する。頂点表現を拡散マップに条件づける目的関数の再定義により、実世界のネットワークにおける頂点分類およびリンク予測において、最先端のモデルを上回る性能を達成する。

ABSTRACT

Textual network embedding leverages rich text information associated with the network to learn low-dimensional vectorial representations of vertices. Rather than using typical natural language processing (NLP) approaches, recent research exploits the relationship of texts on the same edge to graphically embed text. However, these models neglect to measure the complete level of connectivity between any two texts in the graph. We present diffusion maps for textual network embedding (DMTE), integrating global structural information of the graph to capture the semantic relatedness between texts, with a diffusion-convolution operation applied on the text inputs. In addition, a new objective function is designed to efficiently preserve the high-order proximity using the graph diffusion. Experimental results show that the proposed approach outperforms state-of-the-art methods on the vertex-classification and link-prediction tasks.

研究の動機と目的

• 非隣接テキスト間のグローバルな構造的接続性を無視する既存のテキストネットワーク埋め込みモデルの限界を解消すること。
• グラフ拡散を用いて長距離関係を捉えることで、スパースネットワークにおける意味的類似性モデリングを改善すること。
• 行列分解を用いずに高次近接性を保持できる計算効率の良い目的関数を設計すること。
• グローバル構造情報とテキスト埋め込みを組み合わせることで、下流タスクに向けたより情報豊かな表現が得られることを示すこと。
• 拡散畳み込み機構が、直接の隣接関係を超えた接続性を効果的に捉えられることを検証すること。

提案手法

• グラフの正規化隣接行列およびその累乗級から導出される拡散マップを用いて、各頂点をスキャンする拡散畳み込み演算を適用する。
• グラフ拡散プロセスを用いて、頂点間のランダムウォークの確率を計算し、複数ホップにわたる接続度のレベルを符号化する。
• 頂点 $v_i$ の生成確率を $v_j$ の拡散マップに条件づけることで、高次近接性を保持する目的関数を再設計する。
• 初期テキスト表現として単語埋め込みの平均値を用い、それを拡散畳み込み層で処理する。
• 有向および無向、重み付きおよび非重み付きの両方のグラフをサポートし、大規模ネットワークへのスケーラビリティを実現する。
• 拡散マップをグローバル構造エンコーダーとして活用し、局所的なテキスト表現に長距離構造的文脈を強化する。

実験結果

リサーチクエスチョン

• RQ1 テキストネットワークにおけるグローバル構造的情報は、局所的ペairワイズ手法と比較して、非隣接テキスト間の意味的類似性を向上させることができるか？
• RQ2 拡散ベースの接続性測定を組み込むことで、リンク予測や頂点分類などの下流タスクでより高い性能が得られるか？
• RQ3 拡散マップに基づく条件付き確率を用いた本稿の目的関数は、計算効率および表現品質の面で、既存手法と比較してどのように差をつけるか？
• RQ4 頂点間の距離が直接の隣接関係を越えて拡大する際、拡散プロセスが埋め込みをどの程度向上させるか？
• RQ5 モデルの複雑さを増さずに、有向・無向・重み付きの異なる種類のネットワークに一般化可能か？

主な発見

• DMTEは、複数の実世界データセットにおいて、マルチラベル分類およびリンク予測の両タスクで最先端の手法を上回る性能を達成する。
• マルチラベル分類において、全訓練比率で一貫した性能向上を示し、CANEなどのベースラインモデルと比較してF1-Macroスコアが顕著に高い。
• リンク予測の性能は、拡散プロセスにおけるホップ数 $H$ が増加するに従い向上し、$H$ が十分に大きい際にピークに達する。これは、長距離接続性モデリングが効果的であることを示している。
• 単純な単語埋め込み平均を入力として用いても、DMTEは競争力のある性能を達成しており、再設計された目的関数の有効性を示している。
• 事例研究では、DMTEが、グラフ上で直接接続されていないにもかかわらず意味的に類似した論文を効果的に検索できることを示しており、例えばDBLPにおける頂点3が直接の隣接頂点よりも近い位置に位置づけられている。
• 構造ベースのモデルのみでは、テキストと構造を統合したモデルに比べて性能が劣ることから、共同モデリングの必要性が確認された。