[논문 리뷰] Top-Down Beats Bottom-Up in 3D Instance Segmentation

Maksim Kolodiazhnyi, Анна Воронцова외 2명|arXiv (Cornell University)|2023. 02. 06.

Advanced Neural Network Applications인용 수 5

한 줄 요약

TD3D는 클러스터링이 없고 엔드 투 엔드로 동작하는 완전히 컨volutional인 3D 인스턴스 세그멘테이션 방법으로, 최초로 탑다운 파라다임을 채택한 것으로, 정확도와 속도 면에서 기존의 최신 바텀업 접근법을 능가한다. ScanNet v2에서 47.3 mAP를 기록하면서도 가장 정확한 바텀업 방법보다 1.9배 빠르다.

ABSTRACT

Most 3D instance segmentation methods exploit a bottom-up strategy, typically including resource-exhaustive post-processing. For point grouping, bottom-up methods rely on prior assumptions about the objects in the form of hyperparameters, which are domain-specific and need to be carefully tuned. On the contrary, we address 3D instance segmentation with a TD3D: the pioneering cluster-free, fully-convolutional and entirely data-driven approach trained in an end-to-end manner. This is the first top-down method outperforming bottom-up approaches in 3D domain. With its straightforward pipeline, it demonstrates outstanding accuracy and generalization ability on the standard indoor benchmarks: ScanNet v2, its extension ScanNet200, and S3DIS, as well as on the aerial STPLS3D dataset. Besides, our method is much faster on inference than the current state-of-the-art grouping-based approaches: our flagship modification is 1.9x faster than the most accurate bottom-up method, while being more accurate, and our faster modification shows state-of-the-art accuracy running at 2.6x speed. Code is available at https://github.com/SamsungLabs/td3d .

연구 동기 및 목표

• 바텀업 3D 인스턴스 세그멘테이션 방법의 지배를 도전하기 위해, 자원을 많이 소모하는 후처리 및 하이퍼파라미터 튜닝에 의존하는 방법을 줄이기 위해.
• 성공적으로 2D에서 활용된 탑다운 접근법이 포인트 그룹화 없이도 3D 포인트 클라우드에 효과적으로 적용될 수 있음을 입증하기 위해.
• 다양한 3D 벤치마크에 대해 잘 일반화되는 완전히 스퍼스, 컨볼루션형, 엔드 투 엔드로 학습 가능한 방법을 개발하기 위해.
• 수동적인 클러스터링 히우리스틱이 필요 없이 정확도와 추론 속도 면에서 최신 기술을 초월하는 성능을 달성하기 위해.

제안 방법

• TD3D는 3D 객체 검출을 통해 초기 인스턴스 제안을 3D 바운딩 박스로 생성하며, 포인트 그룹화 대신 탑다운 제안 생성 메커니즘을 도입한다.
• 각 제안 내에서 배경 포인트를 식별하기 위해 포인트별 이진 세그멘테이션을 수행하기 위해 3D 스퍼스 U-Net을 활용한다.
• 제안의 정밀화는 FCAF3D 및 IoU 할당기 모두를 사용하여 제안과 진짜 레이블을 매칭하기 위해 3D U-Net 유사 네트워크를 활용한다.
• 이 방법은 완전히 엔드 투 엔드로 미분 가능하며, 객체의 크기나 형태에 대한 사전 가정이 없어 도메인 특화 하이퍼파라미터 의존도를 줄인다.
• 200voxel 미만의 제안은 제거하는 RoI 추출기가 있어 계산 효율성을 확보하면서 성능 저하 없이 운영된다.
• 모델은 포인트 분류를 위한 교차 엔트로피 손실과 유연한 마스크 정밀화 헤드를 결합하여 학습된다.

실험 결과

연구 질문

• RQ1 클러스터링이나 후처리에 의존하지 않고도 탑다운 3D 인스턴스 세그멘테이션 방법이 기존의 바텀업 접근법을 능가할 수 있는가?
• RQ2 완전히 데이터 기반의 엔드 투 엔드로 학습 가능한 탑다운 방법이 실내 및 항공 이미지 데이터셋을 포함한 다양한 3D 벤치마크에 얼마나 잘 일반화되는가?
• RQ3 초기 제안 수가 탑다운 3D 인스턴스 세그멘테이션 프레임워크에서 정확도와 추론 속도 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 탑다운 3D 인스턴스 세그멘테이션 파이프라인에서 제안 정밀화에 최적의 임계값 및 할당 전략 조합은 무엇인가?

주요 결과

• TD3D는 ScanNet v2 검증 세트에서 47.3 mAP를 기록하여 최신 바텀업 방법과 동등하거나 이를 초월하는 정확도를 확보했다.
• 주요 TD3D 모델는 가장 정확한 바텀업 방법인 PointGroup보다 1.9배 더 빠르며, 정확도-속도 트레이드오프 면에서 열등함을 보였다.
• 더 빠른 변종 TD3D는 기존 방법보다 2.6배 더 빠르면서도 최신 기술 수준의 정확도를 달성했다.
• 최적의 초기 제안 수는 약 60개로, 정확도와 추론 시간 간의 균형을 잘 맞춘다.
• 최고의 성능은 포인트 이진 세그멘테이션 임계값 0.2와 IoU 할당기 임계값 0.0에서 달성되었으며, 이는 필터링이 불필요함을 시사한다.
• RoI 추출기의 임계값은 1에서 200voxel 사이의 범위로 설정해도 성능에 영향을 주지 않아, 이 하이퍼파라미터에 대해 강건함을 확인했다.