[論文レビュー] 3DCFS: Fast and Robust Joint 3D Semantic-Instance Segmentation via Coupled Feature Selection

Liang Du, Jingang Tan+6 more|arXiv (Cornell University)|Mar 1, 2020

3D Shape Modeling and Analysis参考文献 47被引用数 4

ひとこと要約

本稿では、結合的特徴選択を用いた、統合的3次元セマンティックおよびインスタンスセグメンテーションのための高速で頑健なエンドツーエンドフレームワーク3DCFSを提案する。新しいCFSMモジュールにより、ゲート機構を介してタスク固有の特徴を適応的に統合する。一方、新しい損失関数（$ olimits_{EMED}$）により、埋め込み次元の大きさをバランスさせ、ユークリッド距離の信頼性を向上させる。S3DISおよびShapeNetデータセットにおいて、最先端の正確性、速度、効率性を達成した。

ABSTRACT

We propose a novel fast and robust 3D point clouds segmentation framework via coupled feature selection, named 3DCFS, that jointly performs semantic and instance segmentation. Inspired by the human scene perception process, we design a novel coupled feature selection module, named CFSM, that adaptively selects and fuses the reciprocal semantic and instance features from two tasks in a coupled manner. To further boost the performance of the instance segmentation task in our 3DCFS, we investigate a loss function that helps the model learn to balance the magnitudes of the output embedding dimensions during training, which makes calculating the Euclidean distance more reliable and enhances the generalizability of the model. Extensive experiments demonstrate that our 3DCFS outperforms state-of-the-art methods on benchmark datasets in terms of accuracy, speed and computational cost.

研究の動機と目的

• 3次元セマンティックおよびインスタンスセグメンテーションにおける逐次的または単純な統合学習の限界を解消し、上流の誤りが下流のパフォーマンスを低下させることを防ぐ。
• 人間の知覚にインspiredされた、相互に依存する関係をモデル化することで、セマンティックとインスタンスセグメンテーションのタスク間の相互情報を利用する。
• ユークリッド距離に基づく類似度計算の信頼性を向上させるために、次元の大きさをバランスさせる。そうでない場合、距離計算に偏りが生じやすい。
• 計算コストと推論時間を低減しつつ、高いパフォーマンスを達成する効率的なエンドツーエンドフレームワークを開発する。
• S3DISおよびShapeNetを含む複数のベンチマークで、正確性と推論速度の両面で最先端の性能を示す。

提案手法

• インスタンスからセマンティックへ、およびセマンティックからインスタンスへ向かう2つのゲート制御ストリームを備えた、結合的特徴選択モジュール（CFSM）を提案。タスク固有の特徴を効果的に統合する。
• CFSM内にゲート機構を採用し、不要または矛盾する特徴を動的に抑制することで、タスクに適応した特徴統合を実現。
• 埋め込み次元の大きさをバランスさせる新しい損失関数$ olimits_{EMED}$を導入。これにより、ユークリッド距離に基づくクラスタリングの安定性と精度が向上する。
• バックボーンエンコーダーとしてPointNet/PointNet++を採用し、デコーダーにCFSMを適用することで、両タスクのエンドツーエンド最適化を実現。
• 学習済みの埋め込みに対してユークリッド距離を適用してインスタンスクラスタリングを実行。$ olimits_{EMED}$により、特定の次元が距離計算に支配的になるのを防ぐ。
• 共有バックボーンと統合学習を採用することで、パラメータ効率性とタスク間の相互監視を実現。

実験結果

リサーチクエスチョン

• RQ1 結合的でゲート制御された特徴選択機構は、従来のマルチタスク学習を上回る、統合的3次元セマンティックおよびインスタンスセグメンテーションを実現できるか？
• RQ2 埋め込み次元の大きさをバランスさせることで、ユークリッド距離に基づくクラスタリングの信頼性が顕著に向上するか？
• RQ3 セマンティックとインスタンスセグメンテーションタスク間の、人間の知覚にインspiredされた相互情報フローは、より良いパフォーマンスと頑健性をもたらすか？
• RQ4 標準ベンチマーク上で、3DCFSフレームワークは、既存のSOTA手法と比較して速度、正確性、メモリ効率の面でどのように差をつけるか？
• RQ5 $ olimits_{EMED}$損失は、一般化性能を向上させ、埋め込み次元のスケーリングに敏感になるのをどれほど軽減するか？

主な発見

• S3DISでは、セマンティックセグメンテーションで62.3 mAcc、インスタンスセグメンテーションで54.7 mPrecを達成し、両指標でSOTA手法を上回った。
• $ olimits_{EMED}$損失は、埋め込み次元の平均大きさをうまくバランスさせ、分散を低減し、クラスタリングの信頼性を向上させた。図6に示す。
• S3DISでは、1エポックあたり26.4分、2,227 MBのメモリで学習が可能で、SGPN（59.3分、7,549 MB）やASIS（64.7分、4,275 MB）よりも顕著に高速かつ効率的だった。
• 推論時間についても高速で、S3DISでは36.3分、307 MBで完了。SGPN（209.5分、420 MB）やASIS（54.2分、1,235 MB）を上回った。
• ShapeNetでは、セマンティックセグメンテーションで87.6 mIoUを達成し、SGPNを1.8 mIoU上回った。部品レベルのセグメンテーションにおいても強力な一般化性能を示した。
• 定性的な結果から、3DCFSは車や椅子といった複雑なオブジェクトを正しくセグメンテーションできており、ベースライン手法に見られる過剰または不十分なクラスタリング誤りを回避した。