[論文レビュー] Clebsch-Gordan Nets: a Fully Fourier Space Spherical Convolutional Neural Network

Risi Kondor, Zhen Lin+1 more|arXiv (Cornell University)|Jun 24, 2018

Seismic Imaging and Inversion Techniques被引用数 60

ひとこと要約

本論文は、Clebsch–Gordanに基づく非線形性をフーリエ空間で用いることで球面 CNN を一般化し、完全にフーリエ空間で回転等変性を持つネットワークを実現する。競争力のある結果と変換回数の削減を達成。

ABSTRACT

Recent work by Cohen \\emph{et al.} has achieved state-of-the-art results for learning spherical images in a rotation invariant way by using ideas from group representation theory and noncommutative harmonic analysis. In this paper we propose a generalization of this work that generally exhibits improved performace, but from an implementation point of view is actually simpler. An unusual feature of the proposed architecture is that it uses the Clebsch--Gordan transform as its only source of nonlinearity, thus avoiding repeated forward and backward Fourier transforms. The underlying ideas of the paper generalize to constructing neural networks that are invariant to the action of other compact groups.

研究の動機と目的

• 正確な回転不変性を伴う球状データの学習を動機付け、他のコンパクト群への一般化を目指す。
• 反復的なフーリエ変換の前方・後方計算を回避する、完全なフーリエ空間ニューラルネットワークを開発する。
• ネットワーク内で唯一の非線形としてClebsch–Gordanに基づく非線形性を導入する。
• SO(3)下での共変性保証を提供し、経験的性能を示す。
• 表現力を保ちつつ計算可能なモデルサイズを維持するためにチャネル増加を制御する。

提案手法

• 活性化を不変表現の分解である不可約表現全体にわたるSO(3)共変ベクトル（フラグメント）として表現する。
• 各角周波数ℓについて Gℓ = Fℓ · Wℓ によって進化する共変線形変換を用いる（命題2）。
• テンソル積とCG分解を用いてフラグメントを結合し共変出力を生成する非線形Clebsch–Gordan変換を導入する（補題3）。
• すべての(ℓ1, ℓ2)ペアのCG出力を統合し、学習可能な線形変換を適用して各層のフラグメント数（τℓ）を制限する。
• ℓ=0成分からSO(3)不変スカラーを出力する最終不変層を維持する。
• 初期の球面調和変換、続いてS−1 CG+線形層、そして不変最終層を含むエンドツーエンドのフォワードパスの説明を提供する。

実験結果

リサーチクエスチョン

• RQ1 SO(3)共変ネットワークがフーリエ変換の往復なしで正確な回転不変性を達成できるか。
• RQ2 Clebsch–Gordan分解に基づく完全フーリエ空間の非線形演算は、従来の球面CNNより性能を向上させるか。
• RQ3 CG非線形性の後のチャネルの組合せ的成長を、効率を保ちながらどう管理できるか。
• RQ4 Clebsch–GordanネットワークはSO(3)以外の他のコンパクト群へどの程度一般化できるか。

主な発見

• 球面上の回転MNISTにおいて、提案手法はNR/NRで96.4%、NR/Rで96%、R/Rの精度を達成し、Cohenら（95.59、94.62、93.4）およびベースラインCNN（97.67、22.18、12）を上回る。
• 手法は回転をまたいで高い精度を維持し、 prior workの離散化アプローチよりも共変性の保持が優れていることを示唆する。
• フーリエ空間で完全に演算することにより、前方・後方変換をはるかに少なく用い、有限精度の範囲で正確な回転共変性を保証する。
• アーキテクチャは二次のClebsch–Gordan非線性を使用し、より高次のCGべき乗への拡張の可能性があり、フーリエ空間での特徴融合を効果的に行える。
• CG結合後の層ごとのチャネル成長を制限する学習可能な線形還元段を組み込む設計で、モデルを扱いやすいサイズに保つ。