[論文レビュー] DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution

Tong He, Chunhua Shen+1 more|arXiv (Cornell University)|Nov 26, 2020

3D Shape Modeling and Analysis参考文献 44被引用数 9

ひとこと要約

DyCo3D は、カテゴリに敏感なコンテキストと軽量トランスフォーマーを用いて、オンザフライでインスタンス固有の畳み込みカーネルを生成する、プロポーザルフリーで動的畳み込みに基づく 3D ポイントクラウドインスタンスセグメンテーション手法である。この手法は、ScanNetV2 および S3DIS で最先端の性能を達成しており、従来のボトムアップ手法と比較して 25% 以上の高速な推論速度と、ハイパーパramータの変動に対する優れたロバスト性を示している。

ABSTRACT

Previous top-performing approaches for point cloud instance segmentation involve a bottom-up strategy, which often includes inefficient operations or complex pipelines, such as grouping over-segmented components, introducing additional steps for refining, or designing complicated loss functions. The inevitable variation in the instance scales can lead bottom-up methods to become particularly sensitive to hyper-parameter values. To this end, we propose instead a dynamic, proposal-free, data-driven approach that generates the appropriate convolution kernels to apply in response to the nature of the instances. To make the kernels discriminative, we explore a large context by gathering homogeneous points that share identical semantic categories and have close votes for the geometric centroids. Instances are then decoded by several simple convolutional layers. Due to the limited receptive field introduced by the sparse convolution, a small light-weight transformer is also devised to capture the long-range dependencies and high-level interactions among point samples. The proposed method achieves promising results on both ScanetNetV2 and S3DIS, and this performance is robust to the particular hyper-parameter values chosen. It also improves inference speed by more than 25% over the current state-of-the-art. Code is available at: https://git.io/DyCo3D

研究の動機と目的

• プロポーザルに依存しないボトムアップ 3D インスタンスセグメンテーション手法がハイパーパramータのチューニングに敏感で、複雑な後処理を必要とすることの課題を解決すること。
• プロポーザルが不要で、データ駆動型のアプローチとして、各インスタンスの幾何学的・意味的コンテキストに適合した動的畳み込みカーネルを生成すること。
• 推論効率を向上させつつ、ポイントクラウドベンチマークにおけるセグメンテーション精度を維持または向上させること。
• スパarsな不規則な 3D ポイントクラウドにおいて、軽量トランスフォーマーモジュールを用いて長距離特徴モデリングを改善すること。
• 手動でのハイパーパramータ調整なしに、多様なシーンの変化やインスタンススケールの変動に対しても安定したパフォーマンスを発揮すること。

提案手法

• DyCo3D は、各ポイントの意味的ラベルと幾何的コアポイント投票に基づいて、カーネル重みをポイントごとに生成する動的畳み込みを採用しており、インスタンス固有の特徴学習を可能にしている。
• 軽量なサブネットワークが、同一の意味的ラベルと類似したコアポイント投票を持つ均質なポイントを集約し、カーネル生成のためのカテゴリ固有のコンテキストをエンコードしている。
• インスタンスマスクは、動的に生成されたフィルタを用いて標準的な畳み込み層で並列にデコードされ、プロポーザル生成やクラスタリングの必要がなくなる。
• 長距離の依存関係を捉えるために、受容 field を拡大する軽量なトランスフォーマー モジュールが導入されている。
• 計算コストを増加させずに、スパース 3D 畳み込みを活用し、トランスフォーマーを統合してハイレベルな相互作用をモデル化している。
• パイプライン全体がエンドツーエンドで学習可能であり、ヒューリスティックなグループ化や複雑な後処理ステップを必要としない。

実験結果

リサーチクエスチョン

• RQ1 プロポーザル生成に依存せずに、3D ポイントクラウドインスタンスセグメンテーションのためのインスタンス固有のカーネルを動的畳み込みで効果的に生成できるか？
• RQ2 軽量トランスフォーマーの統合が、スパースな 3D ポイントクラウドにおける長距離特徴モデリングをどのように改善するか？
• RQ3 既存のボトムアップ手法と比較して、提案手法はハイパーパramータチューニングへの感受性をどの程度低減できるか？
• RQ4 最先端のパフォーマンスを達成しながら、高い推論速度を維持できるか？
• RQ5 カーネル生成におけるカテゴリに敏感なコンテキストの使用が、インスタンスの識別性とセグメンテーション精度をどのように向上させるか？

主な発見

• ScanNetV2 の検証セットでは、DyCo3D は 61.0% の mAP と 70.4% の AP@50 を達成し、PointGroup よりもそれぞれ 0.7% と 0.6% 高く、3D-MPA よりも AP@50 で 4.9%、mAP で 2.3% 高かった。
• ScanNetV2 のテストセットでは、DyCo3D はすべての手法の中で最高の AP@50 スコア 64.1% を記録し、特に 'bed' と 'toilet' では 100% のパフォーマンスを示した。
• S3DIS では、DyCo3D は 65.8% の mPrec と 69.6% の mRec を達成し、PointGroup よりもそれぞれ 2.6% と 2.1% 高く、AP@50 は 60.9% で PointGroup よりも 3.1% 高かった。
• 現在の最先端手法と比較して、推論速度が 25% 以上向上しており、優れた効率性を示している。
• 可視化比較（図 1）から、DyCo3D は PointGroup よりもハイパーパramータの変化に対してはるかにロバストであり、過剰分割エラーが少ないことが明らかになった。
• アブレーションスタディの結果、動的畳み込みと軽量トランスフォーマーの両方が性能向上に寄与しており、特に長距離モデリングにおいて後者が極めて重要であることが確認された。