[論文レビュー] Parallel Transport Convolution: A New Tool for Convolutional Neural Networks on Manifolds

Stefan C. Schonsheck, Bin Dong+1 more|arXiv (Cornell University)|May 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 20

ひとこと要約

本稿では、リーマン多様体における方向性を保持し、局所的サポートを持つ移譲可能フィルタを可能にする、平行移動を活用した新規畳み込み演算であるParallel Transport Convolution (PTC) を提案する。PTC は曲がった領域におけるウェーブレット的演算および深層畳み込みニューラルネットワーク (CNN) の実現を可能にし、ユークリッド空間の手法と同等の性能を達成するとともに、多様体の変形に対して頑健であり、FAUSTデータセットにおける有効な形状登録を可能にする。

ABSTRACT

Convolution has been playing a prominent role in various applications in science and engineering for many years. It is the most important operation in convolutional neural networks. There has been a recent growth of interests of research in generalizing convolutions on curved domains such as manifolds and graphs. However, existing approaches cannot preserve all the desirable properties of Euclidean convolutions, namely compactly supported filters, directionality, transferability across different manifolds. In this paper we develop a new generalization of the convolution operation, referred to as parallel transport convolution (PTC), on Riemannian manifolds and their discrete counterparts. PTC is designed based on the parallel transportation which is able to translate information along a manifold and to intrinsically preserve directionality. PTC allows for the construction of compactly supported filters and is also robust to manifold deformations. This enables us to preform wavelet-like operations and to define deep convolutional neural networks on curved domains.

研究の動機と目的

• 既存の多様体用手法において、局所的サポートを持ち、方向性に配慮した、かつ移譲可能な畳み込み演算が不足している問題に対処すること。
• 畳み込みニューラルネットワークをリーマン多様体や離散メッシュなどの曲がった領域に一般化すること。
• 非剛性形状解析を目的として、変形可能な多様体上での頑健な特徴学習と登録を可能にすること。
• スパース行列演算を用いて、数値的に効率的かつメモリ最適化されたPTCの実装を開発すること。

提案手法

• PTC は、ユークリッド畳み込みを一般化し、多様体上の測地線に沿ってフィルタ重みを平行移動させることで方向情報を保持する。
• この手法は、基準点から近隣点へカーネル重みを平行移動させることでフィルタを構築し、幾何学的整合性を確保する。
• 質量行列と近隣点インデックスを用いたスパース行列定式化を採用し、深層学習フレームワークとの互換性を実現する。
• 離散メッシュ上での局所的畳み込み演算を定義するために、平行移動を用いたパッチベースの補間スキームを採用する。
• 三重項損失を用いて、2層のPTCネットワークにReLU活性化関数を適用し、形状に依存しない特徴を学習する。
• TensorFlowおよびPyTorchにおけるスパース行列演算を用いた実装により、標準的なユークリッド畳み込みと同等の計算複雑度を達成する。

実験結果

リサーチクエスチョン

• RQ1 多様体上での畳み込み演算は、ユークリッド空間と同様に方向性を保持し、局所的サポートを持つことができるか？
• RQ2 非ユークリッド的で曲がった領域（例えばリーマン多様体）において、畳み込みニューラルネットワークを効果的に構築できるか？
• RQ3 PTCで学習された特徴は、変形下でも異なる多様体間で一般化可能か？
• RQ4 形状登録タスクにおいて、PTCはスペクトル法やパッチベース法と比較してどのように性能を発揮するか？
• RQ5 PTCレイヤーは計算的に効率的で、標準的な深層学習フレームワークと互換性を持つのか？

主な発見

• PTC は平行移動による構築により、多様体上に局所的サポートを持つフィルタを構成することで、ウェーブレット的演算を可能にする。
• FAUSTデータセットにおいて、非剛性形状登録のタスクで、ユークリッドCNNと同等の性能を達成する。
• 三重項損失とPTCレイヤーを用いて学習されたネットワークは、FAUSTデータセット内の異なる被験者間で一貫性があり、判別性の高い特徴マップを生成する。
• PTCを用いた特徴ベースの登録は、ヒートカーネルシグネチャを用いたベースライン手法を上回り、対応予測における地表面距離誤差が低くなる。
• 6890点のメッシュ上で2層のPTCネットワークの順伝播および逆伝播が、スパース行列演算を用いて0.5秒未満で完了する。
• ADAM最適化子を用いてFAUSTデータセット全体の学習プロセスが8時間で完了し、実用的なスケーラビリティを示している。