[論文レビュー] Gauge Equivariant Convolutional Networks and the Icosahedral CNN

Taco Cohen, Maurice Weiler+2 more|arXiv (Cornell University)|Feb 11, 2019

3D Shape Modeling and Analysis参考文献 45被引用数 176

ひとこと要約

この論文は一般多様体上でゲージ同変畳み込みを開発し、icosahedral meshで Icosahedral CNNs を作成、全方位画像タスクと気候パターン分割で高い性能を達成。

ABSTRACT

The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning. We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.

研究の動機と目的

• 一般の多様体に対してゲージ同変畳み込みを導入し、 intrinsic geometry のみに依存するCNNを実現する。
• icosahedral surface上でスケーラブルなゲージ同変CNNの実装を提案し、Spherical CNNsの効率的な代替として機能させる。
• 全方位画像分割と気候パターン分割で性能を改善することを示す。
• ゲージパディングとカーネル拡張の両方が性能と一般化に有益であることを示す。

提案手法

• 多様体上の局所フレームとしてゲージを定義し、ゲージ変換を説明する。
• K(v) が K(g^{-1}v)=rho_out(g^{-1}) K(v) rho_in(g) を満たすようなカーネル K によってゲージ同変畳み込みを形式化し、同変性を保証する。
• スカラー、ベクトル、及び正則 C6 表現を含む rho によって変換する特徴場を導入する。
• オーバーラッピングチャートアトラスと C6 ゲージを持つicosahedral多様体へフレームワークを特化し、実用的な conv2d ベースの実装を可能にする。
• G-padding、カーネル拡張、2d畳み込み（HexaConv）を実装してゲージ同変Icosahedral畳み込み（GConv）を実行する。
• 等変性制約をチャート遷移間で強制するためのカーネルのウェイト共有方式を提供する。

実験結果

リサーチクエスチョン

• RQ1 一般的な多様体上のCNNに対してゲージ同変性をどのように定義・実装できるか？
• RQ2 icosahedron のような規則的多様体上でスケーラブルな実用的ゲージ同変CNNを実現できるか、Spherical CNNsとどう比較するか？
• RQ3 ゲージパディングとカーネル拡張は回転・変換データの性能や一般化を改善するか？
• RQ4 Icosahedral CNNは全方位信号分割および気候パターン分割でベースラインと比べてどうか？

主な発見

アーキテクチャ	N/N	N/I	N/R	I/I	I/R	R/R
S2CNN	99.38	99.38	99.38	99.12	99.13	99.12
NP+NE	99.29	25.50	16.20	98.52	47.77	94.19
NE	99.42	25.41	17.85	98.67	60.74	96.83
NP	99.27	36.76	21.4	98.99	61.62	97.87
S2S	97.81	97.81	55.64	97.72	58.37	89.92
S2R	98.99	98.99	59.76	98.62	55.57	98.74
R2R	99.43	99.43	69.99	99.38	66.26	99.31

• Icosahedral CNNはIcoMNISTで特定の訓練/テスト条件下で最大99.43%のテスト精度を達成。
• 完全なR2Rモデル（regular-to-regular）は条件を通じて最高の性能を示し、ゲージパディングとカーネル拡張の両方の価値を示す。
• 非等変モデルは変換データへの一般化が難しく、等変性の利点を強調する。
• 等変モデル（S2S, S2R, R2R）はIcosahedral対称性変換テストデータ（I- transforms）へ完全に一般化する。SO(3) 増強は頑健性をさらに高める。
• Spherical CNNsと比べて Icosahedral アプローチは高速でスケールしやすく、報告設定で競合するまたはそれ以上の性能を提供する。