[논문 리뷰] Scalable SoftGroup for 3D Instance Segmentation on Point Clouds

Thang X. Vu, Kookhoi Kim외 4명|arXiv (Cornell University)|2022. 09. 17.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 소프트 세분화 점수를 사용하여 그룹화 중 오류 전파를 줄이는 방식으로 정확도를 향상시키는 확장 가능한 프레임워크인 SoftGroup 및 SoftGroup++을 제안한다. SoftGroup++는 옥트리 기반 k-NN, 클래스 인식 피라미드 스케일링, 후기 디보크셀화를 통해 대규모 시나리오에서 최대 6배 빠른 추론을 달성하며, 실내 및 실외 벤치마크에서 AP50에서 기존 방법보다 6–16% 향상된다.

ABSTRACT

This paper considers a network referred to as SoftGroup for accurate and scalable 3D instance segmentation. Existing state-of-the-art methods produce hard semantic predictions followed by grouping instance segmentation results. Unfortunately, errors stemming from hard decisions propagate into the grouping, resulting in poor overlap between predicted instances and ground truth and substantial false positives. To address the abovementioned problems, SoftGroup allows each point to be associated with multiple classes to mitigate the uncertainty stemming from semantic prediction. It also suppresses false positive instances by learning to categorize them as background. Regarding scalability, the existing fast methods require computational time on the order of tens of seconds on large-scale scenes, which is unsatisfactory and far from applicable for real-time. Our finding is that the $k$-Nearest Neighbor ($k$-NN) module, which serves as the prerequisite of grouping, introduces a computational bottleneck. SoftGroup is extended to resolve this computational bottleneck, referred to as SoftGroup++. The proposed SoftGroup++ reduces time complexity with octree $k$-NN and reduces search space with class-aware pyramid scaling and late devoxelization. Experimental results on various indoor and outdoor datasets demonstrate the efficacy and generality of the proposed SoftGroup and SoftGroup++. Their performances surpass the best-performing baseline by a large margin (6\% $\sim$ 16\%) in terms of AP$_{50}$. On datasets with large-scale scenes, SoftGroup++ achieves a 6$ imes$ speed boost on average compared to SoftGroup. Furthermore, SoftGroup can be extended to perform object detection and panoptic segmentation with nontrivial improvements over existing methods. The source code and trained models are available at \url{https://github.com/thangvubk/SoftGroup}.

연구 동기 및 목표

• 경계가 흐린 국소적 불확실성으로 인해 발생하는 하드 세분화 예측에서 오는 오류 전파 문제를 해결하여 IoU가 낮아지고 잘못된 양성 예측이 발생하는 것을 방지한다.
• 소프트 세분화 점수를 통해 점들이 다수 클래스에 속할 수 있도록 허용하여 인스턴스 세분화 정확도를 향상시킨다.
• k-NN 및 검색 공간의 계산 병목 현상을 줄여 대규모 3D 시나리오에서 실시간 추론을 가능하게 한다.
• 객체 검출 및 패노픽 세분화와 같은 다른 작업으로의 확장성 확보 및 일관된 성능 향상 달성.
• 대규모 포인트 클라우드에서 높은 정확도를 유지하면서 추론 시간을 줄이는 확장 가능하고 일반화 가능한 프레임워크 개발.

제안 방법

• SoftGroup는 하드 원핫 예측 대신 소프트 세분화 점수를 사용하여 인스턴스 그룹화를 수행함으로써 국소적 모호성으로 인한 오분류를 감소시킨다.
• 상향식 정밀 조정 단계에서는 실제 레이블과의 IoU 기반으로 인스턴스 제안을 양성 또는 음성으로 분류하여 양성 인스턴스를 정밀 조정하고 가짜 양성 예측을 억제한다.
• SoftGroup++는 기존의 일반 k-NN를 옥트리 기반 k-NN로 대체하여 시간 복잡도를 O(n²)에서 O(n log n)으로 감소시킨다.
• 클래스 인식 피라미드 스케일링은 그룹화 과정에서 높은 신뢰도의 클래스별 영역에 집중함으로써 검색 공간을 축소시킨다.
• 후기 디보크셀화 기법은 보다 높은 공간 해상도를 유지하고 중간 단계의 계산을 줄이기 위해 보크셀화를 후속 단계로 연기한다.
• 이 프레임워크는 인스턴스 세분화, 객체 검출, 패노픽 세분화에 대해 엔드 투 엔드 학습 및 추론을 지원한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 세분화 예측에서 오는 오류 전파를 완화하기 위해 소프트 세분화 점수를 사용할 경우 인스턴스 세분화 정확도가 향상되는가?
• RQ2 대규모 3D 포인트 클라우드 처리에서 k-NN의 계산 병목 현상을 효과적으로 줄일 수 있는가?
• RQ3 제안된 방법이 높은 정확도를 유지하면서 대규모 시나리오로 얼마나 잘 확장되는가?
• RQ4 SoftGroup 프레임워크는 객체 검출 및 패노픽 세분화와 같은 다른 3D 인식 작업으로 일반화될 수 있는가?
• RQ5 인스턴스 마스크를 세분화 맵에 다시 융합했을 때 세분화 성능에 어떤 영향을 미치는가?

주요 결과

• SoftGroup는 다양한 실내 및 실외 데이터셋에서 최고의 베이스라인 대비 AP50를 6–16% 향상시키며, ScanNet에서 최대 16%의 향상을 기록했다.
• SoftGroup++는 SoftGroup 대비 대규모 시나리오에서 평균 6배의 속도 향상을 달성하여 450만 점 포인트 시나리오의 추론 시간을 수십 초에서 10초 이내로 단축시켰다.
• ScanNet v2 검증 세트에서 인스턴스 마스크를 세분화 맵에 다시 융합함으로써 mIoU가 0.7 포인트 향상되었으며, 캐비닛과 냉장고처럼 의미적으로 유사한 클래스에서 특히 유의미한 향상이 있었다.
• 객체 검출에서 SoftGroup와 SoftGroup++는 각각 AP50 59.6, AP25 71.7을 기록하여 ScanNet에서 기존 방법을 능가했다.
• SemanticKITTI에서의 패노픽 세분화에서 SoftGroup와 SoftGroup++는 경쟁력 있는 PQ 점수를 기록했으며, 고급 모델인 Panoptic-PHNet와 조합할 경우 향후 더 큰 향상이 기대된다.
• SSTNet와 SoftGroup를 통합함으로써 AP50가 64.9%에서 67.7%로 상승하여 슈퍼포인트 기반 방법과 강력한 상호보완 효과를 보였다.