[論文レビュー] Graph Convolution with Low-rank Learnable Local Filters

Xiuyuan Cheng, Zichen Miao+1 more|arXiv (Cornell University)|Aug 4, 2020

Human Pose and Action Recognition参考文献 58被引用数 5

ひとこと要約

本稿では、可学習な低ランク局所フィルタを用いた新しいグラフ畳み込みモデルL3Netを提案する。このモデルはスペクトル的および空間的グラフ畳み込みを統合する。グラフフィルタをトレーナブルな局所基底と係数に分解し、局所的グラフラプラシアン正則化を組み込むことで、より高い表現力とグラフノイズに対するロバスト性を達成し、球面メッシュ、顔面特徴点、スケルトンベースの行動認識の各タスクで、摂動下でも安定性を保ちながら既存手法を上回る性能を発揮する。

ABSTRACT

Geometric variations like rotation, scaling, and viewpoint changes pose a significant challenge to visual understanding. One common solution is to directly model certain intrinsic structures, e.g., using landmarks. However, it then becomes non-trivial to build effective deep models, especially when the underlying non-Euclidean grid is irregular and coarse. Recent deep models using graph convolutions provide an appropriate framework to handle such non-Euclidean data, but many of them, particularly those based on global graph Laplacians, lack expressiveness to capture local features required for representation of signals lying on the non-Euclidean grid. The current paper introduces a new type of graph convolution with learnable low-rank local filters, which is provably more expressive than previous spectral graph convolution methods. The model also provides a unified framework for both spectral and spatial graph convolutions. To improve model robustness, regularization by local graph Laplacians is introduced. The representation stability against input graph data perturbation is theoretically proved, making use of the graph filter locality and the local graph regularization. Experiments on spherical mesh data, real-world facial expression recognition/skeleton-based action recognition data, and data with simulated graph noise show the empirical advantage of the proposed model.

研究の動機と目的

• 不規則で粗い非ユークリッドグリッド上での局所的特徴を捉えるために、スペクトル的グラフ畳み込みの表現力が限られている問題に対処すること。
• スペクトル的および空間的グラフ畳み込み手法を統合する包括的フレームワークの開発。
• ノイズや欠損特徴点を含むグラフデータの摂動に対するモデルのロバスト性の向上。
• リプシッツ型解析を用いて、入力グラフの摂動に対する表現の安定性を理論的に証明すること。
• 実世界およびシミュレートされたデータにおいて、さまざまな種類のグラフノイズを想定した下で、優れた性能を実証的に検証すること。

提案手法

• L3Netは、グラフフィルタをトレーナブルな局所基底行列と係数に低ランク分解することで、局所的かつ適応的な特徴学習を可能にする。
• モデルはテンソルベースの線形マッピングを用いてトレーナブルな局所フィルタを結合し、柔軟かつ表現力豊かなグラフ信号処理を実現する。
• 局所的グラフラプラシアンを正則化スキームとして導入し、グラフトポロジーの変化やノイズに対して表現を安定化させる。
• 理論的分析により、L3Netがフルグラフラプラシアンに基づくグローバルスペクトル的グラフ畳み込み手法よりも厳密に表現力が優れていることが証明されている。
• フレームワークは既存のモデルを一般化する：ChebNet、GAT、EdgeNet、および低ランクCNNは、特定のパrameter設定下で特殊ケースとして含まれる。
• 摂動解析により、リプシッツ型の安定性が確立され、ノードの順序入れ替えや欠損エッジなどの入力グラフデータの変動に対してもロバスト性が保証される。

実験結果

リサーチクエスチョン

• RQ1 低ランク局所フィルタ分解は、従来のスペクトル的手法を上回るグラフ畳み込みの表現力を向上させることができるか？
• RQ2 局所的グラフ正則化は、特徴点ベースのデータにおけるグラフノイズに対するロバスト性をどのように向上させるか？
• RQ3 提案されたモデルが、スペクトル的および空間的グラフ畳み込みフレームワークをどの程度統合できるか？
• RQ4 欠損ノードやエッジの順序入れ替えなどの現実的なグラフ摂動下でも、理論的安定性保証が成立するか？
• RQ5 顔面およびスケルトン特徴点のような不規則で粗い非ユークリッドデータを扱うタスクにおいて、L3NetはSOTA GNNと比較してどの程度の性能を発揮するか？

主な発見

• 欠損値ノイズを含む$7\times7$ MNISTでは、正則化付きL3Net（reg=0.5）がPSNR 15.33で82.84%の精度を達成し、すべてのベースラインを上回った。
• $14\times14$ MNISTでは、L3Netが基底の順序1;1;2;3で97.51%の精度を達成し、最良のChebNet（$L=7$）の97.74%と同等の性能を示した。
• $28\times28$ MNISTでは、L3Netが基底1;1;2;3で97.51%の精度を達成し、GCNおよび$L=7$のChebNetを上回った。
• ガウスノイズを含む$7\times7$ MNISTでは、L3Net（reg=0.5）がPSNR 18.70で87.22%の精度を達成し、次善の手法を0.13%上回った。
• シミュレートされたグラフ順序入れ替えノイズでは、L3Netが正則化付きで高ノイズレベル下でも76.48%の精度を維持し、優れたロバスト性を示した。
• 顔の感情認識およびスケルトンベースの行動認識のタスクにおいて、L3NetはGCN、ChebNet、GATを常に上回る性能を発揮し、特にノイズのある特徴点条件下で顕著な性能向上を示した。