[論文レビュー] MortonNet: Self-Supervised Learning of Local Features in 3D Point Clouds

Ali Thabet, Humam Alwassel+1 more|arXiv (Cornell University)|Mar 30, 2019

3D Shape Modeling and Analysis参考文献 40被引用数 19

ひとこと要約

MortonNetは、3次元点群にMorton順序の空間埋め込み曲線を用いて非構造的点群から構造的な順序付きシーケンスを生成する自己教師あり学習手法を提案する。これにより、局所的な幾何的特徴（Morton特徴）を学習する点予測タスクが可能となり、S3DISでは3%以上の精度向上を達成。vKITTIやShapeNetへも効果的に転移可能で、ラベル付きデータが限られた状況でもより単純で安定したモデルが構築可能である。

ABSTRACT

We present a self-supervised task on point clouds, in order to learn meaningful point-wise features that encode local structure around each point. Our self-supervised network, named MortonNet, operates directly on unstructured/unordered point clouds. Using a multi-layer RNN, MortonNet predicts the next point in a point sequence created by a popular and fast Space Filling Curve, the Morton-order curve. The final RNN state (coined Morton feature) is versatile and can be used in generic 3D tasks on point clouds. In fact, we show how Morton features can be used to significantly improve performance (+3% for 2 popular semantic segmentation algorithms) in the task of semantic segmentation of point clouds on the challenging and large-scale S3DIS dataset. We also show how MortonNet trained on S3DIS transfers well to another large-scale dataset, vKITTI, leading to an improvement over state-of-the-art of 3.8%. Finally, we use Morton features to train a much simpler and more stable model for part segmentation in ShapeNet. Our results show how our self-supervised task results in features that are useful for 3D segmentation tasks, and generalize well to other datasets.

研究の動機と目的

• 非構造的な3次元点群において意味のある局所的特徴を学習する自己教師あり手法の開発。
• 空間埋め込み曲線を用いた幾何的順序付けにより、深層学習における順序なし・非構造的点群データの課題に対処すること。
• セマンティックセグメンテーションやパーツセグメンテーションなどの下流タスクで効果を発揮する汎用的かつ転送可能な特徴表現（Morton特徴）の構築。
• 1つのデータセットで自己教師あり事前学習を実施することで、他のデータセットへのゼロショットまたはフェイントショット転移が可能であることを実証すること。

提案手法

• Morton順序（Z順序）空間埋め込み曲線を用いて、3次元点群に意味的で幾何的に一貫した順序付けを施し、点群をシーケンスに変換する。
• マルチレイヤーRNNを用いて、Morton順序シーケンスにおける次の点を予測するタスクを学習させ、自己回帰的タスクにより局所的な構造的依存関係を学習する。
• RNNの最終隠れ状態（Morton特徴）は、各点の周囲の局所的幾何的文脈を符号化し、ポイントワイズ表現として用いられる。
• 得られたMorton特徴は、PointNetなどの既存の3次元ディープラーニングパイプラインに統合され、セマンティックセグメンテーションやパーツセグメンテーションタスクの性能向上に寄与する。
• モデルはS3DISで事前学習され、vKITTIやShapeNetに再訓練せずに微調整または直接転送可能である。
• ShapeNetにおけるパーツセグメンテーションでは、事前に抽出されたMorton特徴の上に単純な分類器を学習させ、アーキテクチャの複雑さを低減している。

実験結果

リサーチクエスチョン

• RQ1 3次元点群は本質的に順序なし・非構造的であるが、自己教師あり学習が効果的に適用可能かどうか。
• RQ2 Morton順序シーケンス上で自己回帰的予測により学習した特徴が、意味的な幾何的構造を的確に捉えられるか。
• RQ3 Morton特徴が、大規模データセットにおけるセマンティックセグメンテーションなどの下流タスクの性能向上に寄与するか。
• RQ4 特にS3DISからvKITTIやShapeNetへの転移において、Morton特徴がどの程度一般化可能か。
• RQ5 Morton特徴が、ラベル付きデータが限られた状況でも、より単純で安定した学習を可能にするか。

主な発見

• PointNetにMorton特徴を統合したことで、S3DISにおけるセマンティックセグメンテーション精度が3%以上向上し、顕著な性能向上を示した。
• vKITTIデータセットへの転移では、MortonNet特徴がセマンティックセグメンテーションの最先端性能を3.8%向上させた。
• ShapeNetでは、Morton特徴を用いた単純な分類器が、最先端手法と同等の性能を達成したが、はるかに単純なアーキテクチャを用いた。
• ラベル付きデータを5%に制限した状況でも、MortonNetは高い性能を維持し、精度低下は4.3ポイントにとどまった。一方、PointNetは同様の条件下で24.7ポイントの精度低下を示した。
• Morton特徴は、ロケットやキャップといった構造的差が微細なクラスにおいて特に効果的であり、性能向上が顕著に現れた。
• S3DISおよびvKITTIにおける定性的な結果から、MortonNetを強化したモデルは、点群が疎な状況下でも、本棚、テーブル、道路といった複雑でごみだらけのクラスを正しくセグメンテーションしていることが確認された。