[論文レビュー] ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling and Box-aware Dynamic Convolution

Tuan Ngo, Binh‐Son Hua+1 more|arXiv (Cornell University)|Mar 1, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

ISBNetは、クラスタリングを不要とする3次元点群インスタンスセグメンテーションネットワークを提案する。インスタンスに特化した最遠点サンプリング（IA-FPS）により、高再現率で特徴が明確なインスタンスカーネルを生成し、ボックスに特化したダイナミック畳み込みを用いてマスク予測を向上させる。ScanNetV2（55.9 AP）、S3DIS（60.8 AP）、STPLS3D（49.2 AP）の3つのベンチマークで最先端性能を達成し、1シーンあたり237msの高速推論を実現した。

ABSTRACT

Existing 3D instance segmentation methods are predominated by the bottom-up design -- manually fine-tuned algorithm to group points into clusters followed by a refinement network. However, by relying on the quality of the clusters, these methods generate susceptible results when (1) nearby objects with the same semantic class are packed together, or (2) large objects with loosely connected regions. To address these limitations, we introduce ISBNet, a novel cluster-free method that represents instances as kernels and decodes instance masks via dynamic convolution. To efficiently generate high-recall and discriminative kernels, we propose a simple strategy named Instance-aware Farthest Point Sampling to sample candidates and leverage the local aggregation layer inspired by PointNet++ to encode candidate features. Moreover, we show that predicting and leveraging the 3D axis-aligned bounding boxes in the dynamic convolution further boosts performance. Our method set new state-of-the-art results on ScanNetV2 (55.9), S3DIS (60.8), and STPLS3D (49.2) in terms of AP and retains fast inference time (237ms per scene on ScanNetV2). The source code and trained models are available at https://github.com/VinAIResearch/ISBNet.

研究の動機と目的

• 密に配置された物体や、緩く接続された大きな物体に対してクラスタリングに依存する従来のボトムアップ型3次元インスタンスセグメンテーション手法の限界を解消すること。
• 重心ベースのクラスタリングに代えて、新しいインスタンスに特化したサンプリング戦略を導入することで、インスタンス再現率と特徴の識別性を向上させること。
• 3次元軸に揃ったボクシングボックスを補助的な幾何的ヒントとして活用し、ダイナミック畳み込みにおけるマスク予測精度を向上させること。
• アーキテクチャの変更を最小限に抑え、複数のベンチマークデータセットで効率的な推論を実現しつつ、最先端の性能を達成すること。

提案手法

• インスタンス再現率を向上させるために、予測されたインスタンスの信頼度に基づいて反復的に点をサンプリングするインスタンスに特化した最遠点サンプリング（IA-FPS）を導入する。
• IA-FPSと局所的アグリゲーション層を組み合わせたポイントアグリゲーターモジュールを採用し、形状、サイズ、セマンティック特徴をインスタンス単位の表現に統合する。
• 予測された3次元軸に揃ったボクシングボックスを幾何的事前知識として活用し、ダイナミック畳み込みカーネルの生成を誘導するボックスに特化したダイナミック畳み込みを提案する。
• マスク、クラスラベル、3次元ボクシングボックスを同時に予測するマルチヘッドを採用し、ボクシングボックス予測を幾何的正則化子および推論のヒントとして活用する。
• わずか216パラメータの軽量なダイナミック畳み込みヘッドを採用し、高い性能を維持しながらも高速な推論を実現する。
• IA-FPSにおける階層的なサンプリング戦略を実装し、サンプリングプロセスを小さなチャンク（例：192、128、64）に分割することで、安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来のクラスタリングベースの手法と比較して、インスタンスに特化したサンプリングは、3次元点群インスタンスセグメンテーションにおけるインスタンス再現率の向上と誤分類の低減に寄与するか？
• RQ2 3次元軸に揃ったボクシングボックスを補助的監視として組み込むことで、ダイナミック畳み込みベースの3次元インスタンスセグメンテーションにおけるマスク予測精度が向上するか？
• RQ3 特に幾何的ヒントを組み込んだ場合、ダイナミック畳み込みの設計が3次元インスタンスセグメンテーションにおける性能と効率にどのように影響を与えるか？
• RQ4 クラスタリングを不要とするフレームワークは、各データセットごとの広範なハイパーパramータチューニングを必要とせず、最先端の性能を達成できるか？
• RQ5 高精度かつ高速な推論を実現するための最適なサンプリング戦略、ネットワークの深さ、およびダイナミック畳み込みアーキテクチャのトレードオフは何か？

主な発見

• ISBNetはScanNetV2で55.9 APを達成し、前回の最先端手法を+2.7 AP上回り、1シーンあたり237msの高速推論を実現した。
• S3DISでは60.8 APを達成し、最も強力なベースラインより+2.4 APの向上を達成した。
• STPLS3Dでは49.2 APを達成し、前回の最先端手法より+3.0 APの向上を達成した。
• アブレーションスタディの結果、IA-FPSにおけるチャンクサイズとして192、128、64を使用した場合が最良の性能（54.5 AP）を示し、1つの大きなチャンクよりも優れた性能を発揮した。
• わずか216パラメータのボックスに特化したダイナミック畳み込みは53.6 APを達成し、幾何的ヒントが極めて少ないパラメータ数でも性能向上に顕著な寄与を示した。
• 実行時間分析により、ISBNetは5つの最先端手法の中で最も高速であることが確認され、バックボーンが152ms、インスタンス抽象化が53ms、マスクデコードが32msを要した。