[論文レビュー] NodeNet: A Graph Regularised Neural Network for Node Classification

Shrey Dabhi, Manojkumar Parmar|arXiv (Cornell University)|Jun 16, 2020

Advanced Graph Neural Networks参考文献 12被引用数 9

ひとこと要約

NodeNet は、ノード分類を向上させるために、Neural Graph Learning (NGL) の損失関数を変更し、L2距離の代わりにコサイン類似度を用いて接続されたノード間の特徴類似度を測定するグラフ正則化ニューラルネットワークである。TF-IDF 特徴前処理、バッチ正則化、ドロップアウト、および一般化を向上させる修正された損失関数を組み合わせることで、引用ネットワーク（Cora、CiteSeer、PubMed）において最先端の性能を達成し、PubMed では最高 90.21% の精度向上を達成した。

ABSTRACT

Real-world events exhibit a high degree of interdependence and connections, and hence data points generated also inherit the linkages. However, the majority of AI/ML techniques leave out the linkages among data points. The recent surge of interest in graph-based AI/ML techniques is aimed to leverage the linkages. Graph-based learning algorithms utilize the data and related information effectively to build superior models. Neural Graph Learning (NGL) is one such technique that utilizes a traditional machine learning algorithm with a modified loss function to leverage the edges in the graph structure. In this paper, we propose a model using NGL - NodeNet, to solve node classification task for citation graphs. We discuss our modifications and their relevance to the task. We further compare our results with the current state of the art and investigate reasons for the superior performance of NodeNet.

研究の動機と目的

• グラフニューラルネットワークにおける過学習および過平滑化を緩和すること。
• Neural Graph Learning (NGL) フレームワークを強化することで、引用ネットワークのノード分類性能を向上させること。
• 特徴表現（TF-IDF 対比バイナリカウント）および損失関数設計がモデルの一般化に与える影響を調査すること。
• 既存手法を上回る、強固で柔軟なアーキテクチャを構築すること。

提案手法

• ノード表現間の意味的類似度をよりよく捉えるために、NGL の損失関数における L2 距離度量をコサイン類似度に置き換える。
• バイナリ特徴カウントを重み付き表現に変換するため、TF-IDF ベクトル化を適用し、モデルの学習能力を向上させる。
• 過学習を軽減するため、全結合ネットワークアーキテクチャにバッチ正則化およびドロップアウト層を導入する。
• エッジ重みと類似度スコアを用いて、ラベル付き-ラベル付き、ラベル付き-ラベルなし、ラベルなし-ラベルなしのノードペアを正則化する多成分損失関数を採用する。
• 分類のための最終層としてソフトマックス層を備えた、標準的な順方向ニューラルネットワークを用いる。
• 交差エントロピー分類損失とグラフ正則化項を含む最終コスト関数を、確率的勾配降下法で最適化する。

実験結果

リサーチクエスチョン

• RQ1 NGL 損失関数における L2 距離をコサイン類似度に置き換えると、ノード分類性能にどのような影響を与えるか？
• RQ2 バイナリカウントと比較して、TF-IDF 特徴表現は、モデルの収束性および精度にどの程度向上効果をもたらすか？
• RQ3 バッチ正則化やドロップアウトといったアーキテクチャ的変更は、グラフ正則化ノード分類において過学習を効果的に軽減できるか？
• RQ4 特にデータが少ない状況下において、グラフ正則化の一般化性能への影響は何か？

主な発見

• NodeNet は PubMed データセットでテスト精度 90.21% を達成し、以前の最先端手法の 87.80% を上回った。
• Cora では 86.80% の精度を達成し、以前の最先端手法の 86.00% を上回った。
• CiteSeer では 80.09% の精度を達成し、以前の最先端手法の 78.70% を上回った。
• TF-IDF 特徴の使用により、特に PubMed においてより速く安定した学習収束が実現した。
• 損失関数にコサイン類似度を用いたモデルは、L2 に基づく NGL と比較して、より優れた一般化性能と過学習の低減を示した。
• TF-IDF 特徴、バッチ正則化、ドロップアウトの組み合わせにより、すべてのデータセットでモデルのロバスト性と性能が顕著に向上した。