[논문 리뷰] Instance Segmentation in 3D Scenes using Semantic Superpoint Tree Networks

Zhihao Liang, Zhihao Li외 3명|arXiv (Cornell University)|2021. 08. 17.

3D Shape Modeling and Analysis참고 문헌 38인용 수 10

한 줄 요약

이 논문은 학습된 슈퍼포인트 특징에서 유도된 의미론적 슈퍼포인트 트리(SST)를 구축하고, 이 트리를 이진 노드 분할을 통해 순회하여 객체 인스턴스 후보를 생성하는 엔드 투 엔드 3D 인스턴스 세그멘테이션 방법인 의미론적 슈퍼포인트 트리 네트워크(SSTNet)를 제안한다. 이 방법은 최신 기준 성능을 달성하여, ScanNet(V2) 랭킹에서 두 번째로 높은 성능을 기록한 방법보다 2% 높은 mAP를 기록하였다.

ABSTRACT

Instance segmentation in 3D scenes is fundamental in many applications of scene understanding. It is yet challenging due to the compound factors of data irregularity and uncertainty in the numbers of instances. State-of-the-art methods largely rely on a general pipeline that first learns point-wise features discriminative at semantic and instance levels, followed by a separate step of point grouping for proposing object instances. While promising, they have the shortcomings that (1) the second step is not supervised by the main objective of instance segmentation, and (2) their point-wise feature learning and grouping are less effective to deal with data irregularities, possibly resulting in fragmented segmentations. To address these issues, we propose in this work an end-to-end solution of Semantic Superpoint Tree Network (SSTNet) for proposing object instances from scene points. Key in SSTNet is an intermediate, semantic superpoint tree (SST), which is constructed based on the learned semantic features of superpoints, and which will be traversed and split at intermediate tree nodes for proposals of object instances. We also design in SSTNet a refinement module, termed CliqueNet, to prune superpoints that may be wrongly grouped into instance proposals. Experiments on the benchmarks of ScanNet and S3DIS show the efficacy of our proposed method. At the time of submission, SSTNet ranks top on the ScanNet (V2) leaderboard, with 2% higher of mAP than the second best method. The source code in PyTorch is available at https://github.com/Gorilla-Lab-SCUT/SSTNet.

연구 동기 및 목표

• 기존 3D 인스턴스 세그멘테이션 방법들이 점 클러스터링을 엔드 투 엔드 학습에서 분리하고 데이터의 비정규성과 분할된 세그멘테이션으로 어려움을 겪는 점을 해결하기 위해.
• 슈퍼포인트의 기하학적 규칙성을 활용하여, 특히 객체 경계에서 인스턴스 후보의 일관성을 향상시키기 위해.
• 제안된 후보 생성과 정밀화를 하나의 학습된 구조 안에 통합하여 인스턴스 세그멘테이션을 직접 최적화하는 엔드 투 엔드 프레임워크를 설계하기 위해.
• 오류가 발생한 슈퍼포인트 그룹화에 대응하기 위해 전용 정밀화 모듈인 CliqueNet을 통해 잘못 분류된 노드를 제거함으로써 정확도를 향상시키기 위해.

제안 방법

• 먼저 입력 포인트 클라우드에서 슈퍼포인트를 계산하고, 점별 풀링을 통해 점 수준의 의미론적 및 인스턴스 수준의 특징을 슈퍼포인트 수준의 표현으로 집계한다.
• 집계된 특징을 사용하여 의미론적 슈퍼포인트 트리(SST)를 구축하며, 슈퍼포인트를 잎으로 하고 각 내부 노드에서 학습된 이진 분류기의 지시에 따라 계층적 노드 분할을 수행한다.
• 트리 순회가 루트에서 시작되며, 노드 결정이 분할을 피할 경우, 슈퍼포인트의 일관된 클러스터를 형성하는 객체 인스턴스 후보로 제안된다.
• CliqueNet 정밀화 모듈은 각 제안된 트리 분지를 그래프 클리크로 변환하고, 잘못 분류된 슈퍼포인트를 제거하기 위한 학습 가능한 제거 메커니즘을 적용한다.
• 최종적으로 ScoreNet은 정밀화된 후보를 평가하여 각 인스턴스에 대한 신뢰도 점수를 포함한 최종 인스턴스 세그멘테이션 출력을 생성한다.
• 전체 파이프라인은 엔드 투 엔드로 학습되며, 트리 구축 및 분할 단계가 인스턴스 세그멘테이션 목표에 직접적으로 지도된다.

실험 결과

연구 질문

• RQ1 의미론적 슈퍼포인트 특징에서 구축된 계층적 트리 구조가 점별 클러스터링에 비해 3D 포인트 클라우드에서 인스턴스 후보 품질을 향상시킬 수 있는가?
• RQ2 제안된 후보 생성을 엔드 투 엔드 학습 과정에 통합할 경우, 별도의 클러스터링 단계와 비교해 더 높은 mAP와 더 적은 분할 현상을 유도할 수 있는가?
• RQ3 CliqueNet과 같은 정밀화 모듈이 잘못 분류된 슈퍼포인트를 제거함으로써 인스턴스 후보의 거짓 양성률을 효과적으로 감소시킬 수 있는가?
• RQ4 ScanNet 및 S3DIS와 같은 표준 벤치마크에서 SSTNet은 mAP 및 인스턴스 일관성 측면에서 최신 기준 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• SSTNet는 ScanNet(V2) 검증 세트에서 mAP 49.4를 기록하여 이전 모든 방법을 능가했으며, 제출 당시 공식 랭킹에서 1위를 차지하였다.
• S3DIS 벤치마크에서 SSTNet는 6중 교차검증 하에 mAP 54.1을 기록하여 이전 최고 성능 방법인 PointGroup 및 OccuSeg를 크게 앞섰다.
• 제거 실험 결과 CliqueNet 정밀화 모듈이 mAP를 0.6점 향상시켜 49.4에서 50.0으로 개선함으로써 고정밀도 영역에서의 효과성을 입증하였다.
• 학습된 분할 방식을 사용하는 트리 기반 후보 생성 메커니즘(SSTNet)이 임계값 기반 분할(SST-Thresholding)과 그래프 기반 대안(Superpoint Graph)보다 특히 mAP 지표에서 뛰어난 성능을 보였다.
• AP@25 및 AP@50에서 우수한 성능을 기록하여 다양한 IoU 임계값에서의 강건성과 경계 예측의 일관성을 보였다.