[論文レビュー] MathNet: Haar-Like Wavelet Multiresolution-Analysis for Graph Representation and Learning

Xuebin Zheng, Bingxin Zhou+3 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Graph Neural Networks参考文献 82被引用数 8

ひとこと要約

MathNetは、グラフ表現学習を向上させるために、ハール型ウェーブレット多スケール解析を用いたグラフニューラルネットワークフレームワークを提案する。ウェーブレットベースの畳み込みと階層的プーリングを統合することで、特に大規模データセットにおいて、従来のGNNと比較して優れた正確性と安定性を示し、グラフ分類および回帰で最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have recently caught great attention and achieved significant progress in graph-level applications. In this paper, we propose a framework for graph neural networks with multiresolution Haar-like wavelets, or MathNet, with interrelated convolution and pooling strategies. The underlying method takes graphs in different structures as input and assembles consistent graph representations for readout layers, which then accomplishes label prediction. To achieve this, the multiresolution graph representations are first constructed and fed into graph convolutional layers for processing. The hierarchical graph pooling layers are then involved to downsample graph resolution while simultaneously remove redundancy within graph signals. The whole workflow could be formed with a multi-level graph analysis, which not only helps embed the intrinsic topological information of each graph into the GNN, but also supports fast computation of forward and adjoint graph transforms. We show by extensive experiments that the proposed framework obtains notable accuracy gains on graph classification and regression tasks with performance stability. The proposed MathNet outperforms various existing GNN models, especially on big data sets.

研究の動機と目的

• グラフの局所的および大域的トポロジカル構造を効果的に捉えることで、グラフ表現学習を向上させるグラフニューラルネットワークフレームワークの開発。
• グラフレベルの学習タスクにおける不均一なグラフサイズや構造の問題に対処し、統一的で多スケールのグラフ表現を可能にする。
• 正規直交ハール型ウェーブレットに基づく、相互に関連する畳み込みとプーリング操作を統合したエンドツーエンドのGNNを設計し、計算を効率化する。
• 多スケール信号分解を通じて、特に大規模データセットにおいて、グラフ分類および回帰タスクで優れた性能を達成する。
• 多スケール解析を用いて、グラフニューラルネットワークにおける高速な前方および随伴ウェーブレット変換を実現する汎用的なフレームワークを構築する。

提案手法

• 入力グラフの粗いスケールの連鎖を構築し、多スケール解析（MRA）のためのツリー構造の正規直交ハール型ウェーブレット系を定義する。
• グラフ畳み込みは、前方ウェーブレット変換により実行され、その後スペクトルドメインでのフィルタリング（ハダマード積）、そして随伴変換により頂点ドメインに戻る。
• 階層的グラフプーリングは、ノード数をダウンサンプリングしながらトポロジカルおよび特徴情報の保持を図る圧縮ウェーブレット変換により実装される。
• プーリング層は階層的に連結され、グラフ信号における段階的解像度の低下と冗長性の除去を可能にする。
• 前方および随伴ウェーブレット変換の高速計算が可能であり、GNNにおける効率的な学習と推論を支援する。
• モデルはタスク間で一貫したアーキテクチャを採用しており、1層のGCN層、1層のSAGPool層、および3層のMLPを分類／回帰に使用する。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースの多スケール解析フレームワークは、GNNにおけるグラフ表現学習を向上させることができるか？
• RQ2 ハール型ウェーブレットをグラフ畳み込みおよびプーリングに統合することで、グラフ分類および回帰タスクの性能がどのように向上するか？
• RQ3 MathNetは、特に大規模データセットにおいて、既存のGNNモデルをどの程度上回るか？
• RQ4 階層的ウェーブレットプーリング戦略は、トポロジカル情報を保持しつつ、どのように効率的な計算を実現するか？
• RQ5 単純なハール型ウェーブレット基底を用いることで、グラフ学習におけるモデルの表現力および一般化性能にどのような影響を与えるか？

主な発見

• QM7グラフ回帰ベンチマークにおいて、MathNetは平均テストMAE 42.7 ± 0.92を達成し、次善のベースライン（GCNConv+SAGPool）の43.6 ± 0.98を上回った。
• 10回の繰り返しにおいて、性能の標準偏差が低く抑えられており、ベースラインと比較してより高いロバスト性を示した。
• MathNetは、グラフ分類および回帰タスクにおいて顕著な精度向上を達成しており、特に大規模データセットにおいて優れた性能を発揮した。
• フレームワークは前方および随伴ウェーブレット変換の高速計算を可能とし、GNNにおける効率的な学習と推論を支援する。
• 多スケール解析フレームワークにおいて正規直交ハール型ウェーブレットを用いることで、グラフの局所的および大域的構造情報を効果的に保持できた。
• 実験的結果から、MathNetは最小限のウェーブレット基底（一様な「ファーザー・ウェーブレット」）を用いても、多様なグラフ学習タスクにおいて効果的かつ安定であることが確認された。