[論文レビュー] LanczosNet: Multi-Scale Deep Graph Convolutional Networks

Renjie Liao, Zhizhen Zhao+2 more|arXiv (Cornell University)|Jan 6, 2019

Advanced Graph Neural Networks参考文献 41被引用数 140

ひとこと要約

LanczosNet は、ランツォス法を用いてグラフラプラシアンの低ランク近似を構築し、学習可能なスペクトルフィルターを備えたマルチスケールのグラフ畳み込みを実現する；AdaLanczosNet はグラフカーネル/ノード埋め込みを学習するためにランツォス過程を逆伝播する。

ABSTRACT

We propose the Lanczos network (LanczosNet), which uses the Lanczos algorithm to construct low rank approximations of the graph Laplacian for graph convolution. Relying on the tridiagonal decomposition of the Lanczos algorithm, we not only efficiently exploit multi-scale information via fast approximated computation of matrix power but also design learnable spectral filters. Being fully differentiable, LanczosNet facilitates both graph kernel learning as well as learning node embeddings. We show the connection between our LanczosNet and graph based manifold learning methods, especially the diffusion maps. We benchmark our model against several recent deep graph networks on citation networks and QM8 quantum chemistry dataset. Experimental results show that our model achieves the state-of-the-art performance in most tasks. Code is released at: \url{https://github.com/lrjconan/LanczosNetwork}.

研究の動機と目的

• グラフ畳み込みネットワークにおけるマルチスケール情報抽出の有効性を動機づける。
• 高電力計算を伴う高コストな処理を要せずに、マルチスケールのグラフ拡散を計算する拡張可能な方法を提供する。
• Lanczos ベースの枠組み内で学習可能なスペクトルフィルタを導入する。
• Lanczos プロセスを逆伝播させて、グラフカーネルまたはノード埋め込みを学習するバリアントを提供する。

提案手法

• 親和行列 S の低ランク近似 S ≈ Q T Q^T を得るために Lanczos アルゴリズムを用いる。
• Lanczos分解からの Ritz 値/ベクトル (r_i, v_i) の関数を MLP によって学習し、学習可能なスペクトルフィルタを構築する。
• S のべき乗を介した短スケール成分と、学習可能なスペクトルフィルタを介した長スケール成分を、微分可能なネットワーク内で組み合わせてマルチスケールのグラフ畳み込みを形成する。
• 任意で、AdaLanczosNet は Lanczos ステップを逆伝播させてグラフカーネルまたはノード埋め込みを学習する。
• スペクトルフィルタを拡張することを、スペクトルフィルタリングが拡散写像ベースの周波数表現上で動作することとして解釈し、拡散写像マップとの関連で LanczosNet を位置づける。

実験結果

リサーチクエスチョン

• RQ1 Lanczos ベースの低ランクラプラシアン近似は効率よくマルチスケールのグラフ情報を捉えられるか。
• RQ2 Ritz 値に基づくスペクトルフィルタを学習可能にすることで、固定スペクトルフィルタより性能が向上するか。
• RQ3 Lanczos プロセスを逆伝播する（AdaLanczosNet）ことで、グラフカーネルやノード埋め込みを学習する実用的な利得が得られるか。
• RQ4 LanczosNet は引用ネットワークや QM8 のような標準ベンチマークで最先端のグラフネットワークとどう比較されるか。

主な発見

Dataset / Split	GCN-FP	GGNN	DCNN	ChebyNet	GCN	MPNN	GraphSAGE	GAT	LNet	AdaLNet
Cora Public	74.6 ± 0.7	77.6 ± 1.7	79.7 ± 0.8	78.0 ± 1.2	80.5 ± 0.8	78.0 ± 1.1	74.5 ± 0.8	82.6 ± 0.7	79.5 ± 1.8	80.4 ± 1.1
Cora 3%	71.7 ± 2.4	73.1 ± 2.3	76.7 ± 2.5	62.1 ± 6.7	74.0 ± 2.8	72.0 ± 4.6	64.2 ± 4.0	56.8 ± 7.9	76.3 ± 2.3	77.7 ± 2.4
Cora 1%	59.6 ± 6.5	60.5 ± 7.1	66.4 ± 8.2	44.2 ± 5.6	61.0 ± 7.2	56.7 ± 5.9	49.0 ± 5.8	48.6 ± 8.0	66.1 ± 8.2	67.5 ± 8.7
Cora 0.5%	50.5 ± 6.0	48.2 ± 5.7	59.0 ± 10.7	33.9 ± 5.0	52.9 ± 7.4	46.5 ± 7.5	37.5 ± 5.4	41.4 ± 6.9	58.1 ± 8.2	60.8 ± 9.0
Citeseer Public	61.5 ± 0.9	64.6 ± 1.3	69.4 ± 1.3	70.1 ± 0.8	68.1 ± 1.3	64.0 ± 1.9	67.2 ± 1.0	72.2 ± 0.9	66.2 ± 1.9	68.7 ± 1.0
Citeseer 1%	54.3 ± 4.4	56.0 ± 3.4	62.2 ± 2.5	59.4 ± 5.4	58.3 ± 4.0	54.3 ± 3.5	51.0 ± 5.7	46.5 ± 9.3	61.3 ± 3.9	63.3 ± 1.8
Citeseer 0.5%	43.9 ± 4.2	44.3 ± 3.8	53.1 ± 4.4	45.3 ± 6.6	47.7 ± 4.4	41.8 ± 5.0	33.8 ± 7.0	38.2 ± 7.1	53.2 ± 4.0	53.8 ± 4.7
Citeseer 0.3%	38.4 ± 5.8	36.5 ± 5.1	44.3 ± 5.1	39.3 ± 4.9	39.2 ± 6.3	36.0 ± 6.1	25.7 ± 6.1	30.9 ± 6.9	44.4 ± 4.5	46.7 ± 5.6
Pubmed Public	76.0 ± 0.7	75.8 ± 0.9	76.8 ± 0.8	69.8 ± 1.1	77.8 ± 0.7	75.6 ± 1.0	76.8 ± 0.6	76.7 ± 0.5	78.3 ± 0.3	78.1 ± 0.4
Pubmed 0.1%	70.3 ± 4.7	70.4 ± 4.5	73.1 ± 4.7	55.2 ± 6.8	73.0 ± 5.5	67.3 ± 4.7	65.4 ± 6.2	59.6 ± 9.5	73.4 ± 5.1	72.8 ± 4.6
Pubmed 0.05%	63.2 ± 4.7	63.3 ± 4.0	66.7 ± 5.3	48.2 ± 7.4	64.6 ± 7.5	59.6 ± 4.0	53.0 ± 8.0	50.4 ± 9.7	68.8 ± 5.6	66.0 ± 4.5
Pubmed 0.03%	56.2 ± 7.7	55.8 ± 7.7	60.9 ± 8.2	45.3 ± 4.5	57.9 ± 8.1	53.9 ± 6.9	45.4 ± 5.5	50.9 ± 8.8	60.4 ± 8.6	61.0 ± 8.7

• LanczosNet および AdaLanczosNet は、9つの最近のグラフネットワークと比較して複数のタスクで最先端の性能を達成する。
• Lanczos に基づく低ランク近似は Ritz 値ベースのスペクトルフィルタリングを通じてマルチスケール情報の効率的な計算を可能にする。
• Ritz 値上の MLP を介した学習可能なスペクトルフィルタは、固定多項式フィルタよりモデル能力を高める。
• Lanczos ステップを逆伝播する（AdaLanczosNet）ことで、グラフカーネルおよび/またはノード埋め込みを学習する微分可能な経路を提供する。