[論文レビュー] Classifying Signals on Irregular Domains via Convolutional Cluster Pooling

Angelo Porrello, Davide Abati+2 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本論文は、不規則なグラフにおけるノードを階層的にクラスタリングすることで重み共有と局所的特徴集約を可能にする、新しいグラフニューラルネットワーク層である畳み込みクラスタープーリング（CCP）を提案する。ソフトクラスタリングとクラスタ内での中心性に基づく順序付けを活用することで、多スケールの局所的およびグローバルパターンを捉え、NTU RGB+D（80.1%の正確度）、CIFAR-10（84.4%）、20NEWSにおいて最先端手法を上回る一貫した性能向上を達成する。

ABSTRACT

We present a novel and hierarchical approach for supervised classification of signals spanning over a fixed graph, reflecting shared properties of the dataset. To this end, we introduce a Convolutional Cluster Pooling layer exploiting a multi-scale clustering in order to highlight, at different resolutions, locally connected regions on the input graph. Our proposal generalises well-established neural models such as Convolutional Neural Networks (CNNs) on irregular and complex domains, by means of the exploitation of the weight sharing property in a graph-oriented architecture. In this work, such property is based on the centrality of each vertex within its soft-assigned cluster. Extensive experiments on NTU RGB+D, CIFAR-10 and 20NEWS demonstrate the effectiveness of the proposed technique in capturing both local and global patterns in graph-structured data out of different domains.

研究の動機と目的

• 標準のCNNが規則的な構造を欠くため機能しない不規則で非ユークリッド的グラフドメインにおける信号分類の課題に対処すること。
• 局所的接続性と階層的クラスタリングを活用することで、CNNにおける重み共有をグラフ構造データへ一般化すること。
• クラスタ中心の特徴集約を通じて並進不変性と局所的不変性を維持する空間ベースのグラフ畳み込み層を構築すること。
• 各層でソフトクラスタリングによるグラフの粗化を通じて、効果的なマルチスケール表現学習を可能にすること。
• タスク固有のクラスタリングとクラスタ内順序付けが、ランダムまたは固定プーリング戦略と比較して一般化性能と精度を向上させるかどうかを検証すること。

提案手法

• 入力グラフに対してソフトクラスタリングを実行し、より粗い階層的グラフ表現を形成する畳み込みクラスタープーリング（CCP）層を導入する。
• 各ノードが複数のクラスタにソフトに割り当てられる学習可能なクラスタリング機構を採用し、トレーニング中にクラスタの類似度が学習される。
• 各クラスタに対して、中心性（例：次数または固有ベクトル中心性）に基づいて固定数の候補ノードを選択し、順序付けることで一貫した受容 field を定義する。
• 各クラスタ内で固定カーネルを用いた空間畳み込みを実行することで、類似した局所的構造間での重み共有を可能にする。
• 複数のCCP層をスタックすることでマルチスケールアーキテクチャを構築し、グラフを段階的に粗くし、グローバルな文脈を捉える。
• 再構成損失（L0）とクラスタリングの一貫性損失（LK）を組み合わせた共同損失を最適化し、クラスタメンバーシップを介して勾配を逆伝播させる。

実験結果

リサーチクエスチョン

• RQ1 階層的クラスタリング機構は、不規則なドメインにおけるグラフ畳み込みネットワークにおける効果的な重み共有を可能にするか？
• RQ2 クラスタ内での中心性に基づくノード順序付けは、ランダムまたは固定順序付けと比較して、特徴集約とモデル一般化性能をどのように向上させるか？
• RQ3 トレーニング中にクラスタ割り当てをエンドツーエンドで学習することは、Graclusのような固定粗化戦略と比較して、より高い性能をもたらすか？
• RQ4 提案された損失関数（L0 + LK）は、コンパクトで意味のあるクラスタを促進し、安定した学習を実現する程度はどの程度か？
• RQ5 多様なグラフ構造データセットにおいて、注意メカニズムベースやスペクトルGCN手法と比較して、提案手法はどのようにロバストネスと正確度を発揮するか？

主な発見

• 提案されたCCPモデルはCIFAR-10で84.4%の正確度を達成し、Graclus粗化を用いたChebNetを用いた従来の最良結果（78.15%）を顕著に上回った。
• クロスサブジェクトNTU RGB+Dデータセットでは、CCPは80.1%の正確度を達成し、Graclus粗化を用いたChebNetによる従来の最先端手法（74.85%）を上回った。
• アブレーションスタディの結果、クラスタリング損失（L0）の勾配を除去するとCIFAR-10での性能が66.7%に低下し、エンドツーエンドでのクラスタ最適化の重要性が確認された。
• クラスタ内での中心性に基づく順序付けを用いることで、テスト正確度が84.4%に向上したのに対し、ランダムなノード順序付けでは80.3%にとどまり、構造的な受容 field の有効性が示された。
• 損失のランドスケープの分析から、L0の最小化はLKの低下を引き起こし、モデルがより良い表現を学習するにつれてクラスタのcompactnessが向上することを示している。
• グラフレイアウトの変化に対してもモデルはロバストであることが示され、固定構造のグラフにおいても注意メカニズムベースのモデル（例：GAT）が失敗する状況でも一貫した性能を示した。