[論文レビュー] Tensor graph convolutional neural network

Tong Zhang, Wenming Zheng+2 more|arXiv (Cornell University)|Mar 27, 2018

Advanced Graph Neural Networks参考文献 19被引用数 10

ひとこと要約

本稿では、因数分解可能なグラフ（特に順序付き動的グラフ（例：スケルトン行動認識）およびクロス属性グラフ（例：推薦システムのための行列補完））上で効率的にグラフ畳み込みを実行するテンソルグラフ畳み込みニューラルネットワーク（TGCNN）を提案する。パラメータ化されたクリロフ和演算と、クロスグラフ畳み込みおよびグラフプーリングを組み合わせたグラフ保存層を導入することで、計算コストとメモリ使用量を低減するとともに、スパatio-時系列的およびクロス属性的関係を再帰的かつグローバルにモデリング可能となり、NTU RGB+D、LSC、および合成的「Netflix」データセットで最先端の性能を達成した。

ABSTRACT

In this paper, we propose a novel tensor graph convolutional neural network (TGCNN) to conduct convolution on factorizable graphs, for which here two types of problems are focused, one is sequential dynamic graphs and the other is cross-attribute graphs. Especially, we propose a graph preserving layer to memorize salient nodes of those factorized subgraphs, i.e. cross graph convolution and graph pooling. For cross graph convolution, a parameterized Kronecker sum operation is proposed to generate a conjunctive adjacency matrix characterizing the relationship between every pair of nodes across two subgraphs. Taking this operation, then general graph convolution may be efficiently performed followed by the composition of small matrices, which thus reduces high memory and computational burden. Encapsuling sequence graphs into a recursive learning, the dynamics of graphs can be efficiently encoded as well as the spatial layout of graphs. To validate the proposed TGCNN, experiments are conducted on skeleton action datasets as well as matrix completion dataset. The experiment results demonstrate that our method can achieve more competitive performance with the state-of-the-art methods.

研究の動機と目的

• 動的スケルトンやクロス属性ネットワークなどの大規模な因数分解可能なグラフにおける、標準的なグラフ畳み込みの高い計算コストとメモリ使用量を低減すること。
• 部分グラフ間のスパatio-時系列的およびクロスグラフ的関係をグローバルにモデリングする再帰的学習メカニズムの開発。
• 空間的、時系列的、およびクロス属性的依存関係を同時にモデリングすることで、グラフ構造データの性能向上。
• 大規模な隣接行列をより小さな管理可能なコンポonentに分解するテンソルベースの演算により、計算負荷の低減。

提案手法

• 以前に処理された部分グラフからの顕著なノードを再帰的に保持し、それらを入力グラフと統合するグラフ保存層を導入。
• 2つの部分グラフ間のノード関係をモデリングする最適な結合隣接行列を学習するため、パラメータ化されたクリロフ和演算を採用。
• クリロフ和に基づくクロスグラフ畳み込みを用いて、より小さな行列上で効率的なグラフフィルタリングを実現し、メモリおよび計算コストを削減。
• グラフ保存層内でのグラフプーリングを適用し、次の再帰的ステップに必要な顕著なノードのみを選択・保持。
• 順序付きグラフにおける空間的配置と時系列的ダイナミクスを符号化するため、再帰的テンソル畳み込みフレームワークを採用。
• スペクトルドメインにおけるグラフフィルタリングに多項式近似を用い、モデル容量を調整可能な次数Kを調整可能に設定。

実験結果

リサーチクエスチョン

• RQ1 再帰的グラフ畳み込みフレームワークは、計算効率を維持したまま、動的スケルトンシーケンスにおけるスパatio-時系列的依存関係を効果的にモデリングできるか？
• RQ2 クロス属性グラフ学習において、パラメータ化されたクリロフ和演算は、標準的なクリロフ和や単独のグラフ畳み込みと比較して、性能をどのように向上させるか？
• RQ3 クロスグラフ畳み込みおよびグラフプーリングを組み合わせたグラフ保存層は、因数分解された部分グラフ間でグローバルなグラフ表現学習をどの程度向上させるか？
• RQ4 スペクトルフィルタリングにおける多項式次数Kの選択が、グラフ構造データの性能に与える影響はどの程度か？

主な発見

• LSCデータセットにおいてRCSubプロトコル下で、TGCNNは86.6%の精度と82.9%の再現率を達成し、IGCNN（80.4%精度、77.7%再現率）を上回った。
• 合成的「Netflix」データセットでは、TGCNNはRMS誤差0.0042を達成し、RGCNN（0.0053）およびsRGCNN（0.0106）を上回り、優れた行列補完性能を示した。
• パラメータ化されたクリロフ和演算により、古典的クリロフ和（85.2%精度、82.4%再現率）と比較して性能が向上し、86.6%精度と82.9%再現率を達成した。
• LSCデータセットにおけるグラフフィルタリングの最適な多項式次数Kは、精度では2、再現率では5であり、ハイパーパramータ選択への感受性が示された。
• TGCNNは、孤立した部分グラフ処理に比べて顕著に優れた性能を示し、再帰的かつクロスグラフ学習の有効性を裏付けた。
• グラフ保存層により、再帰的ステップ間で顕著なノードを保持・再利用することで、因数分解されたグラフのグローバルモデリングが可能となり、表現学習が向上した。