[論文レビュー] Deep Loopy Neural Network Model for Graph Structured Data Representation Learning

Jiawei Zhang|arXiv (Cornell University)|May 19, 2018

Advanced Graph Neural Networks参考文献 30被引用数 5

ひとこと要約

本論文は、ループを含むグラフ構造データの表現学習のためのディープループニューラルネットワーク（LNN）を提案する。ループの存在下での学習の課題を、抽出されたkホップルート付きスパニングツリーを介して誤差を逆伝播することで解決する。この手法は、複数の実世界のグラフデータセットにおいて、MSE、MAE、LRSの指標で、DeepWalk、LINE、HPEなどのベースラインモデルを上回る最先端の性能を達成した。

ABSTRACT

Existing deep learning models may encounter great challenges in handling graph structured data. In this paper, we introduce a new deep learning model for graph data specifically, namely the deep loopy neural network. Significantly different from the previous deep models, inside the deep loopy neural network, there exist a large number of loops created by the extensive connections among nodes in the input graph data, which makes model learning an infeasible task. To resolve such a problem, in this paper, we will introduce a new learning algorithm for the deep loopy neural network specifically. Instead of learning the model variables based on the original model, in the proposed learning algorithm, errors will be back-propagated through the edges in a group of extracted spanning trees. Extensive numerical experiments have been done on several real-world graph datasets, and the experimental results demonstrate the effectiveness of both the proposed model and the learning algorithm in handling graph data.

研究の動機と目的

• グラフ構造データにおけるループを含むディープニューラルネットワークの学習という根本的課題に取り組む。
• 従来の逆伝播がループ依存性のため失敗する状況下でも、効果的な誤差逆伝播を可能にする学習アルゴリズムを開発する。
• 入力グラフの構造的複雑性を保持しつつ、エンド・トゥ・エンドの学習を可能にするモデルを設計する。
• 提案手法および学習アルゴリズムの実証的妥当性を、多様な実世界のグラフデータセット上で検証する。

提案手法

• ディープループニューラルネットワーク（LNN）は、入力グラフに基づき構築され、ニューロンがノードに対応し、エッジが接続を定義することで、層内および層間のリンクを形成する。
• モデルは入力層、隠れ層、出力層からなる階層的アーキテクチャを採用し、隠れ状態は入力と隣接ノード状態の重み付き和を非線形活性化関数を用いて計算する。
• ループが存在する状況での学習を解決するため、グラフからkホップ部分グラフおよびkホップルート付きスパニングツリーを抽出し、非循環経路を介した誤差逆伝播を可能にする。
• 誤差逆伝播はこれらのスパニングツリーのエッジを介して実行され、従来の逆伝播が妨げられる循環依存性が解消される。
• 損失関数はノード単位の損失（例：MSEや交差エントロピー）の合計として定義され、スパニングツリーに基づく誤差フローを用いて勾配降下法で最小化される。
• 評価のため、学習済み表現の上にマルチレイヤーパーセプトロン（MLP）を用いた分類器を設ける。

実験結果

リサーチクエスチョン

• RQ1 ループが変数依存性を解けないものにすると、誤差逆伝播を用いたループ付きディープニューラルネットワークを効果的に学習できるか？
• RQ2 グラフベースのニューラルネットワークアーキテクチャから抽出されたスパニングツリーは、ループの存在下でも安定的かつ効果的な逆伝播を可能にするか？
• RQ3 提案されたディープループニューラルネットワークは、実世界のデータセットにおいて最先端のグラフ表現学習手法と比較してどのように性能を発揮するか？
• RQ4 提案された学習アルゴリズムは、ループに起因する学習不安定性を解消しつつ、モデル性能を維持または向上させられるか？

主な発見

• Foursquareデータセットでは、LNNはMSE（0.002 ± 0.001）とMAE（0.003 ± 0.001）が最低となり、両指標で1位を記録した。
• Twitterデータセットでは、LNNはMSE = 0.001 ± 0.001、MAE = 0.002 ± 0.001、LRS = 0.276 ± 0.0013を達成し、3つの指標すべてで1位となった。
• DoubanおよびIMDBデータセットでは、LNNは全評価指標で平均順位1.0を記録し、一貫した優位性を示した。
• Foursquareデータセットでは、LNNのMSEは2番目に優れた手法（MF）より7.8%低く、Appより30%も低く、顕著な改善を示した。
• FoursquareにおけるMSEではHPEおよびBPRに劣ったが、MAEおよびLRSでは依然としてリードし、指標全体にわたる頑健性を示した。
• 提案された学習アルゴリズムは、ループ構造における標準的逆伝播の非現実性を克服し、ディープループネットワークの学習を成功に導いた。