[論文レビュー] DeepSphere: a graph-based spherical CNN

Michaël Defferrard, Martino Milani+2 more|arXiv (Cornell University)|Dec 30, 2020

3D Shape Modeling and Analysis参考文献 21被引用数 17

ひとこと要約

DeepSphereは、制御可能な近隣接続性を持つ重み付きグラフとして球面をモデル化することにより、計算効率と回転等長性のバランスをとったグラフベースの球面畳み込みニューラルネットワークを提案する。実験により、気象・宇宙論的・3次元形状タスクで最先端の性能を示し、理論的には非等方的フィルタに優位性があるものの、等方的グラフフィルタでも十分な性能を発揮することが示された。

ABSTRACT

Designing a convolution for a spherical neural network requires a delicate tradeoff between efficiency and rotation equivariance. DeepSphere, a method based on a graph representation of the sampled sphere, strikes a controllable balance between these two desiderata. This contribution is twofold. First, we study both theoretically and empirically how equivariance is affected by the underlying graph with respect to the number of vertices and neighbors. Second, we evaluate DeepSphere on relevant problems. Experiments show state-of-the-art performance and demonstrates the efficiency and flexibility of this formulation. Perhaps surprisingly, comparison with previous work suggests that anisotropic filters might be an unnecessary price to pay. Our code is available at https://github.com/deepsphere

研究の動機と目的

• 科学的応用を想定した球面畳み込みニューラルネットワークにおける、計算効率と回転等長性のトレードオフを解消すること。
• 気象観測所や脳波記録など、不規則で非一様にサンプリングされた球面データに対して直接処理できるニューラルネットワークの実現。
• 数百万点のスケールの大きなデータセットに対しても高い性能を維持しながらスケーラブルな手法の開発。
• グラフニューラルネットワークで一般的に用いられる等方的グラフフィルタが、より複雑な非等方的球面畳み込みに比べて性能を上回るか、同等の性能を発揮できるかの調査。
• 補間や正則化されたグリッドへの投影を回避する柔軟でスケーラブルなフレームワークの提供により、データの忠実性を保持すること。

提案手法

• 頂点がサンプリング点に対応する重み付き無向グラフとして球面を表現し、エッジの重みは測地的距離に基づく類似度を反映する。
• k近傍法と適応的幅tを用いたカーネル化された距離測度を用いて、グラフラプラシアン $\mathbf{L} = \mathbf{D} - \mathbf{A}$ を構築する。
• 多項式近似 $h(\mathbf{L})\mathbf{f} = \left(\sum_{i=0}^{P} \alpha_i \mathbf{L}^i\right)\mathbf{f}$ を用いたスペクトルグラフ畳み込みを適用し、効率的で局所的なメッセージパッシングを実現する。
• 階層的サンプリングとプーリングを用いて、空間解像度を維持し、不規則グリッド上でのマルチスケール解析を可能にする。
• 気象データからの気温予測や日付予測タスクにおいて、MSE損失を用いたRMSpropによるエンドツーエンドの学習を実施する。
• 近傍数 $k$ を制御することで等長性を制御し、性能と計算コストの調整可能なトレードオフを実現する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構築における近傍数 $k$ が回転等長性およびモデル性能に与える影響は何か？
• RQ2 理論的には非等方的フィルタに優位性があるものの、等方的グラフフィルタが球面学習タスクで最先端の性能を達成できるか？
• RQ3 非一様サンプリング（例：気象観測所）が等長性に与える影響はどの程度か。また、グラフベース手法は正則化または投影された代替手法を上回れるか？
• RQ4 球面調和関数ベースおよびイコサヘドロン投影ベースの手法と比較して、DeepSphereの正確性とスケーラビリティはどの程度か？
• RQ5 不規則な球面サンプリング上でのグラフベース畳み込みは、補間や正則化されたグリッドへの投影を完全に不要にすることができるか？

主な発見

• 密度の高い気温予測タスクにおいて、多項式次数 $P=4$ を $P=0$ に変更することでMSEが10.88から8.20に低下し、近傍集約が性能向上に寄与することが示された。
• 気温からの日付予測タスクにおいて、$P=4$ にすることで決定係数R²が0.882から0.969に向上し、空間的インダクティブバイアスの利点が明確になった。
• 降水量に基づく日付予測では、$P=4$ の場合R²=0.597であったのに対し、$P=0$ の場合-0.980にまで低下し、複雑なパターンの予測には空間構造の重要性が示された。
• 非等方的フィルタを備えていなくても、DeepSphereは3次元形状および気象データで最先端の性能を達成し、フィルタの等方性に関する仮定に疑問を呈した。
• 頂点数に比例して線形にスケーリングされるため、最大約10,000の気象観測所を含むデータセットでも効率的な学習が可能となった。
• 極めて非一様なサンプリング（例：北米に密集した気象観測所）に対しても、グラフベース手法は正則化または投影された代替手法を上回る性能を発揮し、主要ベンチマークで優位性を示した。