[論文レビュー] Sparse Diffusion-Convolutional Neural Networks

James Atwood, Siddharth Pal+2 more|arXiv (Cornell University)|Oct 26, 2017

Advanced Graph Neural Networks参考文献 9被引用数 6

ひとこと要約

本稿では、拡散畳み込みニューラルネットワーク（DCNNs）の前処理スパース化手法を提案し、拡散の前段階で低確率のエッジを pruning することで、メモリ複雑性を 𝒪(N²) から 𝒪(N) に低減する。小さな閾値（ρ ≤ 0.1）においても高い予測性能を維持でき、大規模グラフ上でのノード分類を、顕著な精度損失なしに効率的に行える。

ABSTRACT

The predictive power and overall computational efficiency of Diffusion-convolutional neural networks make them an attractive choice for node classification tasks. However, a naive dense-tensor-based implementation of DCNNs leads to $\mathcal{O}(N^2)$ memory complexity which is prohibitive for large graphs. In this paper, we introduce a simple method for thresholding input graphs that provably reduces memory requirements of DCNNs to O(N) (i.e. linear in the number of nodes in the input) without significantly affecting predictive performance.

研究の動機と目的

• 密度行列の高いメモリ複雑性（𝒪(N²)）が大規模グラフへのスケーラビリティを制限する問題に対処すること。
• ノード分類タスクにおける予測性能を維持しつつ、メモリおよび計算コストを低減すること。
• 拡散プロセスの閾値処理が、モデルの精度を保持しつつ線形メモリスケーリングを可能にするかを検証すること。
• 前処理スパース化と後処理スパース化の戦略を比較し、より優れたメモリと性能のトレードオフを特定すること。
• スパースDCNN（sDCCNs）が、顕著な性能低下を伴わず大規模グラフ学習に実用可能であることを示すこと。

提案手法

• 度数正規化された遷移行列 P に対して、確率が閾値 ρ より小さいエッジを除去することで、前処理スパース化を適用する。
• スパース化された遷移行列を用いて、累乗系列 P, P², ..., Pᴴ を計算し、拡散カーネルテンソルを構築する。
• スパース拡散カーネルを用いて、標準的なDCNNアーキテクチャを適用し、学習可能な重み Wᶜ と活性化関数 f を使用する。
• 最終出力を、スパースな Z テンソルを用いて、全結合層とソフトマックスまたは argmax を用いて計算する。
• スパーステンソル演算を実装することで、密度行列の 𝒪(N²) 演算ではなく、𝒪(N) のメモリ複雑性を維持する。
• P に適用する前処理スパース化と、P* に適用する後処理スパース化を比較し、メモリと性能の両面で評価する。

実験結果

リサーチクエスチョン

• RQ1 遷移行列の閾値処理により、DCNNのメモリ複雑性を 𝒪(N) に低減できるか、ノード分類性能が劣化しないか？
• RQ2 前処理スパース化と後処理スパース化の両者を比較した場合、メモリ効率と予測精度の面でどちらが優れているか？
• RQ3 どの閾値（ρ）の値が、モデル性能を維持しつつ線形メモリスケーリングを可能にするか？
• RQ4 閾値処理によって導入されるスパarsityは正則化として機能するのか、それとも近傍情報の捉え方を劣化させるのか？
• RQ5 得られるスパースDCNN（sDCCN）は、数百万ノードの大規模グラフに効果的にスケーリングできるか？

主な発見

• 遷移行列の前処理スパース化により、メモリ複雑性が 𝒪(N) に低減され、ノード数に比例する線形スケーリングが達成された。
• 小さな閾値（ρ ≤ 0.1）では、スパース化されていないDCNNと比較してノード分類性能にほとんど差がなかった。
• ρ > 0.1 で性能の低下が顕著に現れ始め、ρ ≥ 0.5 では近傍情報がほとんど失われるため、顕著な性能低下が発生した。
• 後処理スパース化では、累乗系列が依然として密度行列として保存されるため、メモリ複雑性は 𝒪(N²) 未満に低下しなかった。
• 前処理スパース化法はより安定的で予測可能な性能を示し、ρ の増加に伴い拡散カーネルの密度が徐々に低下する傾向を示した。
• 本手法により、DCNNが大規模グラフにスケーリング可能となり、E = 𝒪(N) の場合、他の 𝒪(E) メモリ複雑性を持つ手法と同等またはそれを上回る性能を発揮した。密度の高いグラフにおいても、優れた性能向上が得られた。