[論文レビュー] LaplacianNet: Learning on 3D Meshes with Laplacian Encoding and Pooling

Yi-Ling Qiao, Lin Gao+4 more|arXiv (Cornell University)|Oct 30, 2019

3D Shape Modeling and Analysis参考文献 42被引用数 10

ひとこと要約

LaplacianNet は、3次元メッシュ処理のためのディープラーニングフレームワークであり、ラプラシアンスペクトルクラスタリングを用いてマルチスケールメッシュプーリングを実現し、クラスタ間のグローバル特徴を統合するための相関ネットを備えている。形状分類および部品セグメンテーションのタスクにおいて、ShapeNet および COSEG で最先端の性能を達成しており、メッシュトポロジーを異なる三角形分割や等長変形に対して頑健に符号化している。

ABSTRACT

3D models are commonly used in computer vision and graphics. With the wider availability of mesh data, an efficient and intrinsic deep learning approach to processing 3D meshes is in great need. Unlike images, 3D meshes have irregular connectivity, requiring careful design to capture relations in the data. To utilize the topology information while staying robust under different triangulation, we propose to encode mesh connectivity using Laplacian spectral analysis, along with Mesh Pooling Blocks (MPBs) that can split the surface domain into local pooling patches and aggregate global information among them. We build a mesh hierarchy from fine to coarse using Laplacian spectral clustering, which is flexible under isometric transformation. Inside the MPBs there are pooling layers to collect local information and multi-layer perceptrons to compute vertex features with increasing complexity. To obtain the relationships among different clusters, we introduce a Correlation Net to compute a correlation matrix, which can aggregate the features globally by matrix multiplication with cluster features. Our network architecture is flexible enough to be used on meshes with different numbers of vertices. We conduct several experiments including shape segmentation and classification, and our LaplacianNet outperforms state-of-the-art algorithms for these tasks on ShapeNet and COSEG datasets.

研究の動機と目的

• 不規則な3次元メッシュにおけるトポロジカルおよび幾何的構造を効果的に捉えることができるディープラーニングフレームワークの開発を目的とする。
• メッシュベースの学習において一般的な課題である、異なるメッシュトライアングレーションや等長変形に対して頑健であることを保証することを目的とする。
• モデル間の頂点数が均一でない場合でも柔軟に動作する階層的メッシュ処理アーキテクチャを設計することを目的とする。
• スペクトル解析と空間的プーリング、グローバル特徴相関を統合することで、メッシュ上でエンド・ツー・エンドの学習を可能にすることを目的とする。
• 標準ベンチマーク上での3次元メッシュ分類および部品セグメンテーションタスクにおいて、既存手法を上回ることを目的とする。

提案手法

• メッシュの表面を局所的プーリングパッチに分割するため、ラプラシアンスペクトルクラスタリングが用いられ、マルチスケール表現学習が可能となる。
• メッシュプーリングブロック（MPB）は、多層パーセプトロンを用いて頂点特徴を処理し、クラスタ内での局所的最大プーリングにより特徴を集約する。
• 相関ネットは、クラスタを共通のベクトル空間にマップし、内積を計算することで、クラスタ間の学習可能な相関行列を算出する。
• 相関行列により、行列乗算を介したグローバル特徴統合が可能となり、メッシュ全体にわたる長距離依存関係をモデル化できる。
• 分類およびセグメンテーションのタスクにおいて、交差エントロピー損失を用いてエンド・ツー・エンドで学習が行われ、入力特徴はメッシュ幾何形状から抽出される。
• トレーニングの前処理として、メッシュは水密かつ多様体トポロジーであることを保証する。また、部品ラベルは最近接点マッチングにより点群から転送される。

実験結果

リサーチクエスチョン

• RQ1 メッシュラプラシアン特徴のスペクトルクラスタリングは、異なるトライアングレーションに対して頑健で、等長不変性を持つメッシュプーリングを実現できるか？
• RQ2 頂点およびクラスタの順序が任意である非ユークリッドメッシュデータにおいて、グローバルコンテキストを効果的に捉える方法は何か？
• RQ3 メッシュクラスタ間の学習可能な相関機構は、標準的なプーリングやアテンション機構を上回る性能を発揮できるか？
• RQ4 統一されたメッシュネットワークアーキテクチャは、分類やセグメンテーションといった多様な3次元メッシュタスクにおいて、最先端の性能を達成できるか？
• RQ5 本手法は、メッシュ前処理に起因する課題、例えばラベル転送誤りやトポロジーの単純化に対し、どのように対処するか？

主な発見

• LaplacianNet は、ModelNet10 および ModelNet40 における3次元形状分類タスクで最先端の性能を達成し、すべての単一モデルSOTA手法を上回っている。
• COSEGデータセットでは、既存のメッシュベースのディープラーニング手法と比較して、優れた部品セグメンテーション精度を達成している。
• ラプラシアンスペクトルクラスタリングの導入により、等長変形や異なるメッシュトライアングレーションに対して、ネットワークは頑健であることが示された。
• ShapeNetにおける失敗事例の主な要因は、元の点群アノテーションのノイズ、前処理段階での誤ったラベル転送、およびモーターバイクのような複雑な形状のための訓練データ不足にある。
• 相関ネットは、固定されたクラスタ順序を必要とせず、この文脈では全結合層を上回る効果的なグローバル特徴集約を実現している。
• 異なる頂点数を持つメッシュに対しても、本手法は良好な一般化性能を示しており、非均一なメッシュトポロジーを柔軟に処理できることを確認した。