[논문 리뷰] ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling and Box-aware Dynamic Convolution

Tuan Ngo, Binh‐Son Hua외 1명|arXiv (Cornell University)|2023. 03. 01.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

ISBNet는 클러스터링을 필요로 하지 않는 3D 포인트 클라우드 인스턴스 세그멘테이션 네트워크를 제안하며, 인스턴스 인식 원거리 포인트 샘플링(IA-FPS)을 사용해 높은 재현율과 구분 능력을 가진 인스턴스 커널을 생성하고, 박스 인식 동적 컨볼루션을 통해 마스크 예측을 향상시킵니다. ScanNetV2(55.9 AP), S3DIS(60.8 AP), STPLS3D(49.2 AP)에서 최신 기술 수준의 성능을 달성하며, 1회 장면당 237ms의 빠른 추론 속도를 제공합니다.

ABSTRACT

Existing 3D instance segmentation methods are predominated by the bottom-up design -- manually fine-tuned algorithm to group points into clusters followed by a refinement network. However, by relying on the quality of the clusters, these methods generate susceptible results when (1) nearby objects with the same semantic class are packed together, or (2) large objects with loosely connected regions. To address these limitations, we introduce ISBNet, a novel cluster-free method that represents instances as kernels and decodes instance masks via dynamic convolution. To efficiently generate high-recall and discriminative kernels, we propose a simple strategy named Instance-aware Farthest Point Sampling to sample candidates and leverage the local aggregation layer inspired by PointNet++ to encode candidate features. Moreover, we show that predicting and leveraging the 3D axis-aligned bounding boxes in the dynamic convolution further boosts performance. Our method set new state-of-the-art results on ScanNetV2 (55.9), S3DIS (60.8), and STPLS3D (49.2) in terms of AP and retains fast inference time (237ms per scene on ScanNetV2). The source code and trained models are available at https://github.com/VinAIResearch/ISBNet.

연구 동기 및 목표

• 밀도가 높거나 큰 객체가 느슨하게 연결된 경우 종종 실패하는 클러스터링에 의존하는 하향식 3D 인스턴스 세그멘테이션 방법의 한계를 해결하기 위해.
• 중심점 기반 클러스터링을 새로운 인스턴스 인식 샘플링 전략으로 대체하여 인스턴스 재현율과 특징의 구분 능력을 향상시키기 위해.
• 동적 컨볼루션에 3D 축에 평행인 경계 상자(박스)를 보조 기하학적 신호로 활용하여 마스크 예측 정확도를 향상시키기 위해.
• 최소한의 아키텍처 변경으로 다양한 벤치마크 데이터셋에서 높은 성능과 효율적인 추론을 달성하기 위해.

제안 방법

• 예측된 인스턴스 신뢰도를 기반으로 반복적으로 포인트를 샘플링하여 인스턴스 재현율을 향상시키는 인스턴스 인식 원거리 포인트 샘플링(IA-FPS)을 도입합니다.
• IA-FPS와 국소 집합 레이어를 결합하여 형태, 크기, 의미 특징을 인스턴스 기반 표현으로 인코딩하는 포인트 아그리게이터 모듈을 활용합니다.
• 예측된 3D 축에 평행인 경계 상자를 기하학적 사전 지식으로 사용하여 동적 컨볼루션 커널 생성을 안내하는 박스 인식 동적 컨볼루션을 제안합니다.
• 마스크, 클래스 레이블, 3D 경계 상자를 동시에 예측하는 멀티헤드를 사용하며, 상자 예측은 기하학적 정규화 및 추론 단서로 기능합니다.
• 오직 216개의 파라미터만을 가진 경량 동적 컨볼루션 헤드를 채택하여 높은 성능를 유지하면서도 빠른 추론 속도를 확보합니다.
• IA-FPS에서 계층적 샘플링 전략을 구현하여 샘플링 과정을 더 작은 청크(예: 192, 128, 64)로 나누어 안정성과 성능을 향상시킵니다.

실험 결과

연구 질문

• RQ1 기존의 클러스터링 기반 방법과 비교해 인스턴스 인식 샘플링이 3D 포인트 클라우드 인스턴스 세그멘테이션에서 인스턴스 재현율을 향상시키고 잘못된 그룹화를 줄일 수 있는가?
• RQ2 보조 감독 신호로 3D 축에 평행인 경계 상자를 활용할 경우, 동적 컨볼루션 기반 3D 인스턴스 세그멘테이션에서 마스크 예측 정확도가 향상되는가?
• RQ3 특히 기하학적 신호를 통한 동적 컨볼루션 설계가 3D 인스턴스 세그멘테이션의 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 클러스터링이 없는 프레임워크가 각 데이터셋에 대한 광범위한 초모수 조정 없이도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 높은 정확도와 빠른 추론을 위해 샘플링 전략, 네트워크 깊이, 동적 컨볼루션 아키텍처 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• ISBNet은 ScanNetV2에서 55.9 AP를 달성하여 이전 최신 기술 수준보다 +2.7 AP 향상되었으며, 1회 장면당 237ms의 빠른 추론 시간을 확보했습니다.
• S3DIS에서는 60.8 AP를 기록하여 가장 강력한 베이스라인보다 +2.4 AP 향상되었습니다.
• STPLS3D에서는 49.2 AP를 달성하여 이전 최신 기술 수준 방법보다 +3.0 AP 향상되었습니다.
• 절단 실험 결과, IA-FPS에서 192, 128, 64를 청크 크기로 사용할 경우 최고의 성능(54.5 AP)을 기록했으며, 단일 큰 청크보다 뛰어난 성능을 보였습니다.
• 오직 216개의 파라미터만을 가진 박스 인식 동적 컨볼루션은 53.6 AP를 기록하여 기하학적 신호가 조그만 파라미터 수로도 성능을 크게 향상시킬 수 있음을 입증했습니다.
• 실행 시간 분석 결과, ISBNet은 다섯 가지 최신 기술 수준 방법 중에서 가장 빠른 것으로 확인되었으며, 백본에 152ms, 인스턴스 추상화에 53ms, 마스크 디코딩에 32ms가 소요되었습니다.