[論文レビュー] Mesh Convolution with Continuous Filters for 3D Surface Parsing

Huan Lei, Naveed Akhtar+2 more|arXiv (Cornell University)|Dec 3, 2021

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、三角形メッシュを用いた階層的3D表面解析のための、PyTorchおよびTensorFlow互換のライブラリであるPicassoを紹介する。球面調和関数を用いた連続的メッシュ畳み込み、GPUアクセラレートされたメッシュ簡略化、および（非）プーリング操作を提案し、効率的でスケーラブルな特徴学習を可能にする。Picassoに基づく深層階層的ネットワーク、PicassoNet++は、形状解析およびシーンセグメンテーションのベンチマークで最先端の性能を達成し、高いmIoUと精度を示す。

ABSTRACT

Geometric feature learning for 3D surfaces is critical for many applications in computer graphics and 3D vision. However, deep learning currently lags in hierarchical modeling of 3D surfaces due to the lack of required operations and/or their efficient implementations. In this paper, we propose a series of modular operations for effective geometric feature learning from 3D triangle meshes. These operations include novel mesh convolutions, efficient mesh decimation and associated mesh (un)poolings. Our mesh convolutions exploit spherical harmonics as orthonormal bases to create continuous convolutional filters. The mesh decimation module is GPU-accelerated and able to process batched meshes on-the-fly, while the (un)pooling operations compute features for up/down-sampled meshes. We provide open-source implementation of these operations, collectively termed Picasso. Picasso supports heterogeneous mesh batching and processing. Leveraging its modular operations, we further contribute a novel hierarchical neural network for perceptual parsing of 3D surfaces, named PicassoNet++. It achieves highly competitive performance for shape analysis and scene segmentation on prominent 3D benchmarks. The code, data and trained models are available at https://github.com/EnyaHermite/Picasso.

研究の動機と目的

• 3D三角形メッシュにおけるディープラーニングのための効率的でモジュラーな演算の不足に応えること、特に階層的特徴学習を対象とする。
• メッシュ固有の演算（畳み込み、簡略化、（非）プーリングなど）を導入することで、異種的かつ非一様な3Dメッシュ上での効果的な幾何的特徴学習を可能にすること。
• ディープネットワーク内でのリアルタイムのメッシュ簡略化と解像度の適応を可能にすることで、大規模な3D表面解析を支援すること。
• 新規な階層的アーキテクチャ、PicassoNet++を用いることで、形状解析およびシーンセグメンテーションタスクの性能を向上させること。
• PyTorchおよびTensorFlow対応のモジュラーでGPUアクセラレートされたライブラリを公開することで、幾何的ディープラーニングのアクセス性を高めること。

提案手法

• 球面調和関数を正規直交基底として用い、方位角と仰角（θ, φ）をパrameterとする連続的フィルタを構築することで、メッシュ畳み込みを定式化する。
• フェース2ボンタス畳み込みでは、フェース法線を角度入力として用い、ボンタス2フェースおよびフェース2フェース畳み込みでは、射影された重心座標を角度パrameter化に用いる。
• GPUアクセラレートされたメッシュ簡略化モジュールにより、バッチ処理のメッシュをリアルタイムに簡略化可能で、階層的特徴学習のためのターゲット頂点数を制御可能である。
• 簡略化の際に記録された頂点クラスタに基づいてメッシュ（非）プーリング操作を定義し、解像度変更に伴う特徴の伝搬を可能にする。
• 拡張されたポイントクラウド畳み込みは、球面調和関数と半径rを組み合わせ、周囲の球体内での連続的フィルタリングを可能にする。
• PicassoNet++は、Picassoのモジュールを活用する深層階層的ネットワークであり、ポイントクラウド畳み込みへの依存を低減し、改善されたスキップ接続と深さを有する。

実験結果

リサーチクエスチョン

• RQ1 球面調和関数に基づく連続的フィルタは、3D表面特徴学習に効果的かつ効率的に行えるか？
• RQ2 GPUアクセラレートされたリアルタイムのメッシュ簡略化は、異種的3Dメッシュのスケーラブルな階層処理を可能にするか？
• RQ3 簡略化のクラスタに基づく（非）プーリング操作は、解像度変更に伴う特徴の忠実性を維持できるか？
• RQ4 ポイントクラウド畳み込みに依存するハイブリッドアプローチと比較して、メッシュ中心のネットワーク（PicassoNet++）は高解像度メッシュ解析において優れた性能を示すか？
• RQ5 PicassoNet++は、形状解析および大規模なシーンパースニングベンチマークの両方で最先端の性能を達成できるか？

主な発見

• PicassoNet++はShapeNet-Partデータセットで71.8%のmIoU、HUMANデータセットで91.5%の精度を達成し、形状解析において優れた性能を示した。
• PicassoNet++から二重のポイントクラウド畳み込み（T²–T⁵）を削除しても、精度はわずか0.1%低下するのみ（91.5% vs. 91.4%）であり、高解像度特徴学習にはメッシュ畳み込みのみで十分であることが示された。
• 本ネットワークは、ShapeNetCoreや実世界のシーン表面を含む多様なベンチマークで高い性能を維持しており、2D t-SNE可視化では形状クラスの明確で意味的なクラスタリングが観察された。
• 人体および実世界のシーンにおける意味的パースニング結果は高精度であり、主に物体境界付近やノイズの多い正解ラベルによる誤差が少数見られた。
• アブレーションスタディにより、メッシュ畳み込みが極めて有効であることが確認され、ポイントクラウド畳み込みは高解像度メッシュ学習において受動的な役割を果たすにとどまることを示し、PicassoNet++におけるそれらの削減が正当化された。
• Picassoライブラリは、PyTorchおよびTensorFlowの両方で効率的かつ異種メッシュのバッチ処理を可能にし、https://github.com/EnyaHermite/Picasso にてオープンソースで公開された。