[論文レビュー] Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces

Yinshuang Xu, Jiahui Lei+2 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Neuroimaging Techniques and Applications被引用数 4

ひとこと要約

本稿では、同次空間上の群不変畳み込みネットワークを設計するための統一的フーリエベースのフレームワークを提案する。安定化部分群がコンパクトなリー群である場合、フーリエ係数におけるスペクトルスパarsityを活用する。群へのリフト、要素ごとの非線形性の適用、そして再投影による、新たな不変非線形性を提案し、SO(3)およびSE(3)における球面ベクトル場回帰、ポイントクラウド分類、分子構造補完タスクで最先端の性能を達成する。

ABSTRACT

We introduce a unified framework for group equivariant networks on homogeneous spaces derived from a Fourier perspective. We consider tensor-valued feature fields, before and after a convolutional layer. We present a unified derivation of kernels via the Fourier domain by leveraging the sparsity of Fourier coefficients of the lifted feature fields. The sparsity emerges when the stabilizer subgroup of the homogeneous space is a compact Lie group. We further introduce a nonlinear activation, via an elementwise nonlinearity on the regular representation after lifting and projecting back to the field through an equivariant convolution. We show that other methods treating features as the Fourier coefficients in the stabilizer subgroup are special cases of our activation. Experiments on $SO(3)$ and $SE(3)$ show state-of-the-art performance in spherical vector field regression, point cloud classification, and molecular completion.

研究の動機と目的

• 群作用の同次空間上における不変カーネルと非線形性の設計を、フーリエドメインの視点から統一すること。
• 安定化部分群がコンパクトなリー群である場合、リフトされた特徴場のフーリエ係数におけるスペクトルスパarsityを活用し、効率的なカーネル設計を可能にすること。
• 特徴場を群にリフトし、要素ごとの非線形性を適用し、不変畳み込みによって再投影することで、一般化された不変非線形活性化関数を構築すること。
• 3次元形状分類や分子構造補完を含む、複数の不変性ベンチマークで最先端の性能を示すこと。
• 既存のアプローチ（例：ノルムベースやクレブシュ＝ゴルダンベースの非線形性）を、単一のフーリエベースのフレームワークに統一・一般化すること。

提案手法

• 作用群上のマッケイ関数として、同次空間からのテンソル値特徴場を群上にリフトし、群構造を活用して不変性を実現する。
• マッケイ関数のフーリエ変換を用いて、安定化部分群がコンパクトなリー群である場合に、フーリエドメインにおけるブロックスパースパターンを明らかにする。
• フーリエドメインにおけるスパース行列として不変畳み込みカーネルを設計し、明示的な代数的・数値的制約を回避する。
• 特徴場を群にリフトし、要素ごとの非線形性（例：ReLU）を適用し、不変畳み込みによって再投影することで非線形活性化を実装する。
• フーリエドメインにおける正則表現と群不変射影の使用により、構成上不変性を保証する。
• SO(3)およびSE(3)にこのフレームワークを適用し、帯域幅と射影スキームを用いて計算効率と不変性を維持する。

実験結果

リサーチクエスチョン

• RQ1 同次空間上のリフトされた特徴場のフーリエドメインにおけるスペクトルスパarsityを活用することで、不変ネットワークにおけるカーネルと非線形性の設計を統一できるか？
• RQ2 ノルムベースやクレブシュ＝ゴルダンベースの非線形性を含む既存手法を包含する、一般化されたフーリエベースのフレームワークが存在するか？
• RQ3 フーリエスパarsityに基づく提案されたカーネル設計が、SO(3)およびSE(3)の不変性を要請するタスクで最先端の性能を達成できるか？
• RQ4 提案された非線形性は、ベクトル場およびポイントクラウドタスクにおいて、既存のアプローチと比較して表現力や性能で優れているか？
• RQ5 安定化部分群がコンパクトなリー群である場合に、このフレームワークが異なる同次空間および安定化部分群にまで一般化できる範囲はどの程度か？

主な発見

• 安定化部分群がコンパクトなリー群である場合、群上でのマッケイ関数のフーリエ係数はブロックスパースであることが判明し、効率的かつ統一的なカーネル設計が可能になる。
• 提案された非線形性は先行研究を一般化する：Poulenard & Guibas (2021) の非線形性は、提案されたリフト・プロジェクションフレームワークの特別な場合である。
• ModelNet40データセットにおいて、SO(3)拡張下で89.7%の精度を達成し、TFN[mlp]-P や VN-DGCNN などの最先端モデルと同等またはそれを上回る。
• 分子構造補完タスクでは、19原子分子で98.0%の精度と0.06ÅのMAEを達成し、TFN（93.9%精度、0.14Å MAE）を上回る。
• 球面ベクトル場回帰および3次元ポイントクラウド分類においても最先端の性能を示し、タスク間での強力な一般化能力を実証した。
• アブレーションおよびベンチマーク実験により、提案された非線形性により不変性を維持しながらも、表現力を向上させられることを検証した。