[論文レビュー] Spherical CNNs on Unstructured Grids

Chiyu Max Jiang, Jingwei Huang+4 more|arXiv (Cornell University)|Jan 7, 2019

Remote Sensing and LiDAR Applications被引用数 66

ひとこと要約

論文は MeshConv を紹介します。 mesh 上のパラメータ化微分演算子ベースの畳み込みを用い、未構造グリッド上で向きを回転可能なCNNを効率的に実現し、パラメータ数を抑えつつ、タスク全体で最先端の性能に匹敵するかそれ以上を達成します。

ABSTRACT

We present an efficient convolution kernel for Convolutional Neural Networks (CNNs) on unstructured grids using parameterized differential operators while focusing on spherical signals such as panorama images or planetary signals. To this end, we replace conventional convolution kernels with linear combinations of differential operators that are weighted by learnable parameters. Differential operators can be efficiently estimated on unstructured grids using one-ring neighbors, and learnable parameters can be optimized through standard back-propagation. As a result, we obtain extremely efficient neural networks that match or outperform state-of-the-art network architectures in terms of performance but with a significantly lower number of network parameters. We evaluate our algorithm in an extensive series of experiments on a variety of computer vision and climate science tasks, including shape classification, climate pattern segmentation, and omnidirectional image semantic segmentation. Overall, we present (1) a novel CNN approach on unstructured grids using parameterized differential operators for spherical signals, and (2) we show that our unique kernel parameterization allows our model to achieve the same or higher accuracy with significantly fewer network parameters.

研究の動機と目的

• 球状信号のための未構造グリッド（メッシュ）上で向きを回転可能なCNNを開発する。
• パラメータを削減するために微分演算子を用いたカーネルのパラメータ化を提案する。
• この手法がタスク全体で fewer parameters で高い精度を達成することを示す。
• 球状MNIST、3D物体分類、オムニディレクショナルセグメンテーション、および気候パターン分割への適用性を示す。
• さらなる研究と拡張のためのオープンソースコード公開。

提案手法

• 従来のCNNカーネルを、学習可能な重みでパラメータ化された微分演算子の線形結合に置き換える。
• 識別同一性I、x方向およびy方向の一次微分、ラプラシアンの4つの演算子を用いてカーネルを形成する（theta0*I + theta1*dx + theta2*dy + theta3*L）。
• 未構造メッシュ上で一-ring近傍と cotangent-based 离散化によってラプラシアンを含む微分演算子を効率的に推定する。
• 球面を二十面体メッシュで離散化して、粗視化/細視化およびプーリング/アンプーリングを容易にする。
• バックプロパゲーションと標準的なオプティマイザを用いてエンドツーエンドで訓練する。
• 分類、セグメンテーション、気候タスク向けのエンコーダ–デコーダ型のMeshConvアーキテクチャを提供する。

Figure 5: Results on ModelNet40 dataset. Our method compares favorably with state-of-the-art, and achieves best performance among networks utilizing spherical input signals.

実験結果

リサーチクエスチョン

• RQ1 パラメータ化微分演算子（PDO）が、未構造グリッド上で従来の畳み込みカーネルを fewer parametersで近似できるか？
• RQ2 PDOベースのMeshConvネットワークは、パラメータ効率を改善しつつ、球面および多様体値タスクで競争力のあるまたは優れた精度を達成するか？
• RQ3 オリエンタブルな球面CNNは、オムニディレクショナル画像セグメンテーションや気候パターンセグメンテーションなどのタスクで、最先端手法と比較してどれくらい性能を出すか？
• RQ4 icosahedral 球面メッシュは、精度と効率の面で球状信号上のCNNの有効な離散化手法か？
• RQ5 カーネルに複数の微分演算子を含めること（アブレーション研究）が性能に与える影響は？

主な発見

モデル	入力	精度(%)
3DShapeNets	voxels	84.7
VoxNet	voxels	85.9
PointNet	points	89.2
PointNet++	points	91.9
DGCNN	points	92.2
S2CNN	spherical	85.0
SphericalCNN	spherical	88.9
Ours spherical	spherical	90.5

• PDOを用いたMeshConvは、タスク全体で著しく少ないパラメータで最先端または競争力のある精度を達成。
• 球面MNISTでは、提案手法が約62kパラメータで99.23%の精度を達成し、S2CNNおよびSphereNetのベースラインを上回る。
• ModelNet40の結果は、ピーク精度が競争力を示しつつ、PointNet++、VoxNet、S2CNNのベースラインと比較してパラメータ効率が優れている。
• 2D3DSでのオムニディレクショナル画像セグメンテーションは、球面セグメンテーションが平面ベースのベースラインや3D点ベース手法を、パラメータ域全体で上回ることを示す。
• 全グローバル入力を用いた気候パターン分割（ARとTC）は、ランダムクロップを用いるベースラインより平均精度が高く、グローバルデータからの全体的理解を示す。
• アブレーション研究は、すべての微分演算子成分を含めることで最も高い精度を提供し、演算子を追加するほど性能が向上することを確認。

(b) Resulting surface distance signal.