[論文レビュー] Joint Learning of Graph Representation and Node Features in Graph Convolutional Neural Networks

Jiaxiang Tang, Wei Hu+2 more|arXiv (Cornell University)|Sep 11, 2019

Advanced Graph Neural Networks参考文献 28被引用数 6

ひとこと要約

本稿では、低ランク分解を用いてマハラノビス距離尺度を最適化することで、動的かつ同時にグラフ構造とノード特徴量を学習する、共同学習グラフ畳み込みネットワーク（JLGCN）を提案する。この手法は、固定グラフベースラインと比較して、引用ネットワークおよび点群の分類において精度と耐障害性を向上させ、最小限のパラメータオーヘッドで最先端の性能を達成する。

ABSTRACT

Graph Convolutional Neural Networks (GCNNs) extend classical CNNs to graph data domain, such as brain networks, social networks and 3D point clouds. It is critical to identify an appropriate graph for the subsequent graph convolution. Existing methods manually construct or learn one fixed graph for all the layers of a GCNN. In order to adapt to the underlying structure of node features in different layers, we propose dynamic learning of graphs and node features jointly in GCNNs. In particular, we cast the graph optimization problem as distance metric learning to capture pairwise similarities of features in each layer. We deploy the Mahalanobis distance metric and further decompose the metric matrix into a low-dimensional matrix, which converts graph learning to the optimization of a low-dimensional matrix for efficient implementation. Extensive experiments on point clouds and citation network datasets demonstrate the superiority of the proposed method in terms of both accuracies and robustness.

研究の動機と目的

• GCNNにおける固定で静的であるグラフの限界を是正すること。これは、層をまたいで変化するノード特徴量構造に適応できないためである。
• データ駆動的にペアワイズ特徴類似度を反映する、動的で層別最適化可能なグラフ最適化を可能にすること。
• 真のグラフが入手不可能または不適切な半教師あり学習および点群分類において、GCNの性能を向上させること。
• マハラノビス尺度行列を低次元形式に分解することで計算複雑性を低減し、効率的な最適化を実現すること。
• アーキテクチャの大幅な見直しを伴わずに、標準的なGCNアーキテクチャに共同グラフおよび特徴量学習を統合すること。

提案手法

• 本手法は、特徴相関とペアワイズ類似度を捉えるためにマハラノビス距離を用いた距離尺度学習としてグラフ学習を定式化する。
• マハラノビス尺度行列 M を R·R^T に分解し、R を低次元行列（S << K）とする。これにより効率的な最適化が可能になる。
• グラフラプラシアン正則化子（GLR）は R の最適化により最小化され、学習されたグラフ上での特徴量の滑らかさが保証される。
• 損失関数は GLR と交差エントロピーを組み合わせ、グラフ構造とノード特徴量をエンドツーエンドで同時に最適化する。
• 前の層で学習されたグラフを現在の層のグラフに連結することで、マルチレベル特徴量学習を可能にする。
• フレームワークは標準的なGCNアーキテクチャと互換性があり、効率的なメッセージパッシングのための一次スペクトル近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 固定グラフと比較して、層ごとに動的に最適化されるグラフ学習は、半教師ありノード分類におけるGCN性能を向上させ得るか？
• RQ2 ノイズやスパースなデータ（例：低密度の点群）に対して、グラフ構造とノード特徴量の共同最適化は、耐障害性にどのように影響を与えるか？
• RQ3 低ランク分解を用いたマハラノビス距離尺度学習は、グラフ構造データにおける潜在的特徴関係を効果的に捉えることができるか？
• RQ4 提案手法は、パラメータ増加を最小限に抑えつつ、k-NNグラフや最先端のGCN変種を上回る性能を点群分類で達成できるか？
• RQ5 残差グラフ接続によるマルチレベルグラフ学習は、GCNの各層における特徴表現をどの程度向上させるか？

主な発見

• Cora引用ネットワークでは、JLGCNは平均クラス正解率87.2%、全体正解率90.8%を達成し、GCNベースライン（84.2%および88.7%）を2.5ポイント以上上回った。
• ModelNet40における点群分類では、JLGCNは13MBのモデルサイズで全体正解率90.8%を達成し、ベースラインのGCN（88.7%）を上回り、パrameter数が少ないにもかかわらず最先端の手法と同等の性能を示した。
• 本手法は点群のスパarsityに対して優れた耐障害性を示し、90%の点ドロップアウト下でも高い正解率を維持した。これはGCNベースラインを著しく上回った。
• 可視化結果から、学習されたグラフは密で重み付きであり、深層部において自己結合が増加していることが示され、ネットワークの深さに応じた動的適応が行われていることが明らかになった。
• スペクトルGCNベースの手法の中で、JLGCNはModelNet40で最高の性能を達成し、グラフ構造学習の有効性を強力に示した。
• アブレーションスタディにより、GLRと交差エントロピーによるグラフと特徴量の共同最適化が、別個または固定グラフ学習よりも優れた一般化性能をもたらすことが確認された。