[論文レビュー] Spin-Weighted Spherical CNNs

Carlos Esteves, Ameesh Makadia+1 more|arXiv (Cornell University)|Jun 18, 2020

Geophysics and Gravity Measurements参考文献 51被引用数 10

ひとこと要約

本論文は、スピン重み付き球面関数を活用することで、球面上で効率的かつ非等方的な畳み込みを直接実行できる、球面畳み込みニューラルネットワーク（SWSCNN）という新しい球面畳み込みニューラルネットワークアーキテクチャを提案する。SO(3)に等長性を保ちつつ、SO(3)に持ち上げることなく実現される。この手法は、分類、3次元形状解析、セマンティックセグメンテーションのタスクにおいて、先行研究の球面畳み込みニューラルネットワークを上回り、計算効率を維持しながらベクトル場の等長性処理を可能にする。

ABSTRACT

Learning equivariant representations is a promising way to reduce sample and model complexity and improve the generalization performance of deep neural networks. The spherical CNNs are successful examples, producing SO(3)-equivariant representations of spherical inputs. There are two main types of spherical CNNs. The first type lifts the inputs to functions on the rotation group SO(3) and applies convolutions on the group, which are computationally expensive since SO(3) has one extra dimension. The second type applies convolutions directly on the sphere, which are limited to zonal (isotropic) filters, and thus have limited expressivity. In this paper, we present a new type of spherical CNN that allows anisotropic filters in an efficient way, without ever leaving the spherical domain. The key idea is to consider spin-weighted spherical functions, which were introduced in physics in the study of gravitational waves. These are complex-valued functions on the sphere whose phases change upon rotation. We define a convolution between spin-weighted functions and build a CNN based on it. The spin-weighted functions can also be interpreted as spherical vector fields, allowing applications to tasks where the inputs or outputs are vector fields. Experiments show that our method outperforms previous methods on tasks like classification of spherical images, classification of 3D shapes and semantic segmentation of spherical panoramas.

研究の動機と目的

• 球面畳み込みニューラルネットワークにおける表現力と計算コストのトレードオフを解消し、SO(3)に持ち上げることなく非等方的フィルタを効率的に実装すること。
• スピン重み付き球面関数としてのモデル化により、球面上のベクトル場を等長的に処理できる球面畳み込みニューラルネットワークの拡張。
• 表面法線をスピン重み付きチャネルとして符号化することで、3次元形状解析における表現の正確性を向上させること。
• 全般的なSO(3)に等長性を維持しつつ、最終層での等長性の選択的破壊により、縦向きおよび回転した入力においても高い性能を発揮するようにすること。

提案手法

• スピン重み付き球面関数（SWSFs）を導入する。これは回転に対して位相シフトを伴う複素数関数であり、ベクトル場のモデル化を可能にする。
• 球面上で直接作用するスピン重み付き球面畳み込み（SWSConv）を定義する。SWSFT（スピン重み付き球面フーリエ変換）を用いたスペクトルドメイン計算により、SO(3)に等長性を保持する。
• スピン重み（例：s=0 はスカラー、s=1 は接ベクトル場）を異なる重みで持つ複数のSWSFチャネルを特徴量およびフィルタとして使用するアーキテクチャを採用する。
• 非線形関数、バッチ正規化、プーリング層をスピン重み付き特徴に適応させ、等長性を維持するとともに、深層学習を可能にする。
• 全般的な等長性が求められるタスクではSWSConv層を全量使用するが、縦向き入力のタスクでは最終層を標準的な2次元畳み込みに置き換える（Ours + BE）ことで等長性を破り、精度を向上させる。
• SWSConvのスペクトル計算は、バンド制限関数に対して正確であり、逆SWSFTとスペクトルドメインでの乗算を用いる。

実験結果

リサーチクエスチョン

• RQ1 SO(3)に持ち上げることなく、球面畳み込みニューラルネットワークに非等方的フィルタを効率的に実装でき、SO(3)に等長性を保てるか？
• RQ2 スピン重み付き球面関数は、スカラーのみを扱う球面畳み込みニューラルネットワークの制限を超えて、球面上のベクトル場の等長的処理を可能にするか？
• RQ3 スピン重み付き特徴の使用は、表面法線の独自な符号化を可能にし、3次元形状の表現を向上させるか？
• RQ4 任意の回転下でも優れた一般化性能を発揮しつつ、縦向き入力においても高い性能を維持できるか？

主な発見

• SWSCNNモデルは、球面MNIST（SVFMNIST）ベンチマークで最先端の性能を達成し、ベクトル場分類、スカラーからの予測、ベクトル場からのスカラー予測の各タスクで、先行手法を上回った。
• ModelNet40では、縦向き設定で94.1%の精度、回転設定で91.3%の精度を達成し、先行する球面畳み込みニューラルネットワークを上回り、60枚の入力画像を必要とするEMVNに近い性能を発揮した。
• Stanford 2D3DSデータセットにおけるセマンティックセグメンテーションでは、55.6%の精度と41.9%のmIoUを達成し、非等長性の最先端モデルと同等の性能を発揮し、以前の等長性モデルを上回った。
• 法線を追加チャネル（s=1）として含めた場合、精度は58.7%、mIoUは43.4%に向上し、幾何的特徴のスピン重み付き表現の有効性を示した。
• Ours + BEバージョンでは、最終層での等長性の破壊により、縦向き入力で58.7%の精度を達成し、全般的な等長性が常に必要ではないこと、特定の設定では性能向上のための等長性の緩和が有効であることを確認した。
• SWSFTを用いた畳み込みの計算は正確であり、バンド制限信号に対して理論的SO(3)に等長性を保証し、近似誤差なしに実現可能である。