[論文レビュー] Divide and Conquer: 3D Point Cloud Instance Segmentation With Point-Wise Binarization

Weiguang Zhao, Yuyao Yan+4 more|arXiv (Cornell University)|Jul 22, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本論文は、ポイント単位のバイナリ化を用いて隣接するオブジェクトをクラスごとに分離する、新しい3次元点群インスタンスセグメンテーションフレームワークPBNetを提案する。ポイントを高密度（HPs）と低密度（LPs）のグループに分類することで、重なっているインスタンスを最初にHPsをクラスタリングし、その後で近隣投票を用いてLPsを割り当てることで、優れた性能を達成し、ScanNetV2ベンチマークでmAP 54.3を記録し、全手法の中で第1位を獲得した。

ABSTRACT

Instance segmentation on point clouds is crucially important for 3D scene understanding. Most SOTAs adopt distance clustering, which is typically effective but does not perform well in segmenting adjacent objects with the same semantic label (especially when they share neighboring points). Due to the uneven distribution of offset points, these existing methods can hardly cluster all instance points. To this end, we design a novel divide-and-conquer strategy named PBNet that binarizes each point and clusters them separately to segment instances. Our binary clustering divides offset instance points into two categories: high and low density points (HPs vs. LPs). Adjacent objects can be clearly separated by removing LPs, and then be completed and refined by assigning LPs via a neighbor voting method. To suppress potential over-segmentation, we propose to construct local scenes with the weight mask for each instance. As a plug-in, the proposed binary clustering can replace traditional distance clustering and lead to consistent performance gains on many mainstream baselines. A series of experiments on ScanNetV2 and S3DIS datasets indicate the superiority of our model. In particular, PBNet ranks first on the ScanNetV2 official benchmark challenge, achieving the highest mAP. Code will be available publicly at https://github.com/weiguangzhao/PBNet.

研究の動機と目的

• 同じ意味的ラベルを持つ隣接する3次元オブジェクトが隣接するポイントを共有するため、従来の距離クラスタリングでは制限を受ける課題に対処する。
• 既存手法における不均一なオフセットポイントの分布によって引き起こされるインスタンスクラスタリングの不完全さを克服する。
• アーキテクチャの大幅な見直しを伴わずに、複数の主流ベースラインで性能を向上させる、プラグイン互換性のある二値クラスタリング戦略を開発する。
• 重みマスクを備えた局所的シーン機構を用いて、ソファやテーブルのような大きなオブジェクトにおける過剰セグメンテーションを抑制する。
• 最小限のハイパーパrameter感度で、ベンチマークデータセットで最先端の性能を達成する。

提案手法

• 局所的なポイント密度に基づいて、オフセットブランチ内の各ポイントを高密度（HP）または低密度（LP）ポイントにバイナリ化し、隣接するインスタンスを分離する。
• 同じ意味的ラベルを持つ重なっているインスタンスを解消するために、距離に基づくグループ化戦略を用いてまずHPsをクラスタリングする。
• 隣接するHPsの特徴を用いた近隣投票機構を用いてLPsを割り当てることで、不完全なインスタンスを再構築および精錬する。
• 各予測インスタンスの周囲に局所的シーンを構築するため、周囲のインスタンスを探索する。
• グローバル特徴と局所的シーンエンコーディングを用いて、インスタンス固有の重みマスクを生成し、ネットワークが主なオブジェクトに注目するのを支援する。
• グローバル特徴と精錬された局所的特徴を組み合わせて最終的なインスタンスマスクを予測し、マスク損失を用いてセグメンテーション品質を最適化する。

実験結果

リサーチクエスチョン

• RQ1 高密度および低密度ポイントへのポイント単位のバイナリ化は、同じ意味的ラベルを持つ隣接する3次元インスタンスの分離を向上させることができるか？
• RQ2 低密度ポイントに対する近隣投票は、希薄または不均一なオフセットポイントによって引き起こされる不完全なインスタンスクラスタを効果的に補完および精錬できるか？
• RQ3 重みマスクを備えた局所的シーン機構は、ソファやテーブルのような大きなオブジェクトにおける過剰セグメンテーションを抑制できるか？
• RQ4 提案された二値クラスタリング戦略は、既存のSOTAベースラインでプラグインとして使用可能であり、性能向上にどの程度寄与できるか？
• RQ5 この手法はハイパーパrameterにどの程度敏感であり、最小限のチューニングで安定性を維持できるか？

主な発見

• PBNetは、公式のScanNetV2ベンチマークで最高のmAP 54.3を達成し、評価された全手法の中で第1位を獲得した。
• アブレーションスタディの結果、提案されたマスク損失により、ベースラインと比較してmAPが7.7%、AP50が3.2%向上した。
• LPsに対する近隣投票機構により、投票なしのベースラインと比較してmAPが2.6ポイント向上した。
• 重みマスクを備えた局所的シーン機構により、精錬なしのベースラインと比較してmAPが4.3ポイント向上した。
• 本手法は3つのハイパーパrameter（rd, dθ, K）のみを導入しており、実験的に安定しており、先行SOTA手法のものよりも感受性が低かった。
• HAISより150–250msの遅延増加があるものの、mAPの大幅な向上を達成しており、精度が重要なアプリケーションにおいては妥当なトレードオフである。