[論文レビュー] Geometric Scattering on Manifolds

Michael Perlmutter, Guy Wolf+1 more|arXiv (Cornell University)|Dec 15, 2018

Advanced Graph Neural Networks参考文献 37被引用数 5

ひとこと要約

本稿では、コンpactなリーマン多様体に対する幾何的スキャattering変換を導入し、ユークリッド空間へのスキャattering変換の非ユークリッド領域への一般化を実現する。多様体信号における設計されたフィルタと局所的非線形性を用いることで、局所的等長変換不変表現を達成し、内在的幾何的条件下において微分同相写像に対する安定性を証明する。これにより、ユークリッド空間を超えた幾何的ディープラーニングの理論的基盤が拡張される。

ABSTRACT

The Euclidean scattering transform was introduced nearly a decade ago to improve the mathematical understanding of the success of convolutional neural networks (ConvNets) in image data analysis and other tasks. Inspired by recent interest in geometric deep learning, which aims to generalize ConvNets to manifold and graph-structured domains, we generalize the scattering transform to compact manifolds. Similar to the Euclidean scattering transform, our geometric scattering transform is based on a cascade of designed filters and pointwise nonlinearities, which enables rigorous analysis of the feature extraction provided by scattering layers. Our main focus here is on theoretical understanding of this geometric scattering network, while setting aside implementation aspects, although we remark that application of similar transforms to graph data analysis has been studied recently in related work. Our results establish conditions under which geometric scattering provides localized isometry invariant descriptions of manifold signals, which are also stable to families of diffeomorphisms formulated in intrinsic manifolds terms. These results not only generalize the deformation stability and local roto-translation invariance of Euclidean scattering, but also demonstrate the importance of linking the used filter structures (e.g., in geometric deep learning) to the underlying manifold geometry, or the data geometry it represents.

研究の動機と目的

• ユークリッド空間におけるスキャattering変換をコンパクトなリーマン多様体へ一般化し、非ユークリッドデータにおけるディープラーニングの理論的解析を可能にする。
• 多様体信号の等長変換不変かつ局所的表現を生成するための条件を確立する。
• 外在的埋め込みに依存せず、多様体の内在的幾何学的性質を用いて、微分同相写像の族に対する変換の安定性を証明する。
• 幾何的ディープラーニングにおけるフィルタ構造が、頑健性を確保するため、基礎となる多様体幾何学と整合している必要があることを示す。
• 離散的グラフベースの変種の基礎となる、連続的かつ数学的に厳密な幾何的ディープラーニングのフレームワークを提供する。

提案手法

• 変換は、ユークリッド空間におけるスキャattering変換に類似した、スペクトル積分作用素と局所的非線形性（例：絶対値）の級列として構築される。
• フィルタは、多様体上でのラプラシアン＝ベルトラミ作用素の固有関数と固有値から導かれるスペクトルカーネルによって定義される。
• フレームワークは、二点単調多様体における径数カーネルを活用し、作用素の可換子の対称性に基づく解析を可能にする。
• 微分同相写像に対する安定性は、微分同相写像によって誘導されるシフト作用素と積分作用素の可換子ノルムを用いて分析される。
• 主要な推定は、カーネルの勾配の有界性とスペクトルの減衰に依存し、多様体次元や固有値分布といった幾何的不変量が用いられる。
• 理論的結果は、カーネル不変性、勾配ノルム、スペクトル減衰に関する補題を用いて導出され、一般の微分同相写像に対する安定性バウンドに至る。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間からコンパクトなリーマン多様体へスキャattering変換を一般化することは可能か？ その際、重要な不変性および安定性の性質が保持されるか？
• RQ2 多様体に課されるどのような幾何的条件下で、スキャattering特徴量が等長変換に対して不変かつ微分同相写像に対して安定となるか？
• RQ3 幾何的スキャatteringにおけるフィルタ設計は、多様体の内在的幾何学とどのように関連づけられるべきか？ これにより頑健性が保証されるか？
• RQ4 多様体の二点単調性が、変換に対するより強い安定性保証を可能にする役割を果たすか？
• RQ5 ラプラシアン＝ベルトラミ作用素のスペクトル的性質は、幾何的スキャattering変換の安定性および局所化にどのように影響を与えるか？

主な発見

• 二点単調多様体である限り、幾何的スキャattering変換は、多様体信号の局所的かつ等長変換不変表現を生成する。
• 二点単調多様体では、変換がリプシッツ安定性を示し、そのバウンドは微分同相写像が等長変換からどれほど逸脱しているか（A1(ζ) および A2(ζ) で定量化）に依存する。
• スペクトル積分作用素 T と微分同相写像によって誘導されるシフト作用素 Vζ の可換子ノルムは、カーネルの L2 ノルムと勾配の L∞ ノルムの組み合わせに比例する定数倍で有界であり、多様体の幾何的不変量にスケーリングされる。
• 同次多様体では、スペクトルカーネルの勾配ノルムが O(λ^(d+1)/4) で有界であるため、スペクトルフィルタリングの下でより良い安定性バウンドが得られる。
• このフレームワークは、ユークリッド空間におけるスキャattering変換の連続的かつ内在的な一般化を提供し、離散的グラフベースの変種は連続的多様体構造の有限サンプルとして現れる。
• 結果として、幾何的ディープラーニングにおけるフィルタ設計が、理論的安定性および不変性を保証するため、基礎となる多様体幾何学を尊重する必要があることが示された。