[論文レビュー] Collective Vertex Classification Using Recursive Neural Network

Qiongkai Xu, Qing Wang+2 more|arXiv (Cornell University)|Jan 24, 2017

Advanced Graph Neural Networks参考文献 15被引用数 10

ひとこと要約

本稿では、木構造的再帰を用いて、頂点属性と隣接頂点からの再帰的集約表現を統合することで、集合的頂点分類を実現するグラフベースの再帰ニューラルネットワーク（GRNN）フレームワークを提案する。この手法は、特に長短期記憶ユニット（LSTM）を用いることで最先端のベースラインを上回り、WebKB-simで85%の学習データを用いた際、最大87.73%のF1スコアを達成した。

ABSTRACT

Collective classification of vertices is a task of assigning categories to each vertex in a graph based on both vertex attributes and link structure. Nevertheless, some existing approaches do not use the features of neighbouring vertices properly, due to the noise introduced by these features. In this paper, we propose a graph-based recursive neural network framework for collective vertex classification. In this framework, we generate hidden representations from both attributes of vertices and representations of neighbouring vertices via recursive neural networks. Under this framework, we explore two types of recursive neural units, naive recursive neural unit and long short-term memory unit. We have conducted experiments on four real-world network datasets. The experimental results show that our frame- work with long short-term memory model achieves better results and outperforms several competitive baseline methods.

研究の動機と目的

• 集合的頂点分類におけるノイジーカな隣接頂点特徴の課題に対処するため、生の属性を用いるのではなく、頑健な表現を学習すること。
• 任意のグラフ構造（循環を含む）を扱える再帰ニューラルネットワークフレームワークを開発するため、それを局所的に構築された木に変換すること。
• 異なる再帰ニューラルユニット（ナードリーフ・リカーシブ・ユニットとLSTMユニット）が頂点分類性能に与える影響を評価すること。
• 隣接頂点からの構造的表現を組み込むことで、従来手法を上回る分類精度が向上することを実証すること。

提案手法

• 分類対象の各頂点について、深さdまでをカバーするように、ターゲット頂点から始めて段階的に探索木を構築する。
• 構築された木に基づいて再帰ニューラルネットワークを構築し、各ノードの隠れ表現は、自身の特徴と子ノードの隠れ状態から計算される。
• 2種類の再帰ユニットを評価する：ナードリーフ・リカーシブ・ニューラルユニット（NRU）と長短期記憶ユニット（LSTMU）、両者とも階層的に情報を集約することを目的として設計されている。
• 平均、最大、合計のプーリング戦略を用いて子ノードの表現を統合し、最大プーリングがノイズフィルタリングにおいて優れた性能を示した。
• 再帰的計算を用いる：$ h_v = \text{RNN}(x_v, \text{pool}(\{h_u \mid u \in \text{children}(v)\})) $、ここで$ x_v $は頂点$ v $の特徴ベクトルである。
• 最終的な分類器ヘッドがルートノードの隠れ状態に基づいて予測を行うため、クロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 任意のグラフに対して、それを木構造に変換することで、再帰ニューラルネットワークフレームワークが集合的頂点分類を効果的にモデル化できるか？
• RQ2 隣接頂点からの学習済み表現を用いることで、生の隣接頂点特徴やラベルを直接用いる場合に比べ、分類タスクで優れた性能が得られるか？
• RQ3 ナードリーフRNNとLSTMという異なる再帰ニューラルユニットは、グラフ内の構造的依存関係をどのように捉えているか？
• RQ4 プーリング戦略（平均、最大、合計）が隣接頂点表現の集約および最終的な分類性能に与える影響は何か？
• RQ5 Cora、Citeseer、WebKB、WebKB-simのような、ラベル相関パターンが異なるデータセットにおいて、モデルの性能はいかがなっているか？

主な発見

• G-LSTM_d2モデルは、85%の学習データを用いたWebKB-simデータセットで、最高のマイクロ-F1スコア87.73%を達成し、すべてのベースラインを上回った。
• CoraとCiteseerでは、それぞれ86.21%および87.58%のマイクロ-F1スコアを達成し、ICAとLPがWebKBで苦戦したのに対し、優れた性能を発揮した。
• 最大プーリングが平均および合計プーリングを上回った。これは、最も影響力のある表現を選択することでノイズの多い隣接頂点表現を効果的にフィルタリングできるためと考えられる。
• G-LSTM_d2モデルはG-NRNN_d2を常に上回り、特に学習割合が80%を超えた際には顕著であった。これはLSTMが長距離依存関係を捉える能力に優れていることを示している。
• ラベル共起性分析から、CoraとCiteseerでは強いラベル相関（d=2まで）が確認され、これが集合的手法が効果を発揮する理由を説明している。一方、WebKBでは弱い相関であったため、LPは効果を発揮しなかった。
• LPが失敗した（マイクロ-F1 < 0.7）WebKBにおいても、GRNNは頑健な性能を示し、ノイズの多いラベル構造に対しても耐性があることを示した。