[논문 리뷰] Torch-Points3D: A Modular Multi-Task Frameworkfor Reproducible Deep Learning on 3D Point Clouds

Thomas Chaton, Nicolas Chaulet외 2명|arXiv (Cornell University)|2020. 10. 09.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

Torch-Points3D는 여러 작업과 데이터셋 간에 훈련, 평가 및 추론을 표준화하는 모듈형이며 재현 가능한 PyTorch 기반 프레임워크입니다. 통일된 프로토콜을 통해 공정한 벤치마킹을 가능하게 하며, 정렬 및 세분화 분야에서 최신 기술 수준의 성능을 달성하고, 테스트 시점 투표 및 CPU 가속 전처리를 통해 추론 정확도를 향상시킵니다.

ABSTRACT

We introduce Torch-Points3D, an open-source framework designed to facilitate the use of deep networks on3D data. Its modular design, efficient implementation, and user-friendly interfaces make it a relevant tool for research and productization alike. Beyond multiple quality-of-life features, our goal is to standardize a higher level of transparency and reproducibility in 3D deep learning research, and to lower its barrier to entry. In this paper, we present the design principles of Torch-Points3D, as well as extensive benchmarks of multiple state-of-the-art algorithms and inference schemes across several datasets and tasks. The modularity of Torch-Points3D allows us to design fair and rigorous experimental protocols in which all methods are evaluated in the same conditions. The Torch-Points3D repository :https://github.com/nicolas-chaulet/torch-points3d

연구 동기 및 목표

• 실험 프로토콜과 구현 관행을 표준화하여 3D 딥러닝 연구의 기술 부채를 줄이고 재현 가능성을 향상시키는 것.
• 여러 3D 데이터셋, 모델, 작업에 대한 즉시 사용 가능한 지원을 제공하여 연구자와 실무자들이 접근하기 쉬운 환경을 조성하는 것.
• 통일된 구성 및 평가 시스템을 통해 다양한 데이터셋과 작업 간에 최신 기술 수준의 모델을 공정하고 비교 가능한 방식으로 평가할 수 있도록 하는 것.
• 반경 검색과 같은 계산 비용이 큰 작업을 CPU로 이관하여 훈련 및 추론 속도를 가속화하는 것.
• 미래의 고수준 API를 통해 전이 학습 및 자기지도 학습 방법을 지원하는 것.

제안 방법

• Hydra를 사용한 통합 모델 및 하이퍼파rameter 관리 기반의 모듈형, 구성 기반 아키텍처를 사용합니다.
• 최고 성능을 보인 네트워크들(예: KPConv, Minkowski Engine, RS-CNN)의 재구현을 통합하고, 플러그-앤플러그 백본 교체를 지원합니다.
• S3DIS, ScanNet, 3DMatch, KITTI 등의 데이터셋 간에 데이터 로딩, 전처리, 증강 및 평가 지표를 표준화합니다.
• 테스트 시점 추론은 다중 순차적 전방 계산의 예측 평균화를 통해 앙상블 투표 방식으로 향상되어 세분화 정확도를 높입니다.
• CPU 기반 전처리는 GPU에서 반경 검색 및 샘플링을 이관하여 훈련 처리량을 최대 8배 향상시킵니다.
• 정렬 파이프라인은 Minkowski Engine 백본과 TEASER, RANSAC을 조합하여 강력한 변환 추정을 수행합니다.

실험 결과

연구 질문

• RQ1 모듈형 프레임워크는 3D 포인트 클라우드 모델 벤치마킹의 재현 가능성과 공정성에 어떻게 기여할 수 있는가?
• RQ2 테스트 시점 투표는 다양한 백본 네트워크 간에 세분화 mIoU를 얼마나 향상시키는가?
• RQ3 CPU 기반 전처리는 대규모 3D 포인트 클라우드에서 훈련 속도를 상당히 가속화할 수 있는가?
• RQ4 현대적 백본과 강력한 추정기들을 조합한 통일된 정렬 파이프라인은 어떤 성능을 달성할 수 있는가?
• RQ5 Torch-Points3D는 다양한 3D 작업과 데이터셋 간에 모델 간의 효율적 비교 및 선택을 어떻게 가능하게 하는가?

주요 결과

• 테스트 시점 투표로 모든 모델에서 mIoU가 1–3포인트 향상되었으며, Minkowski Engine는 S3DIS에서 가장 큰 상대적 향상(65.9%에서 69.1%로)을 기록했습니다.
• KPConv 백본은 S3DIS 6-폴드에서 투표를 거친 후 67.2% mIoU를 달성하여 PointNet++(투표 후 59.0%)를 능가했습니다.
• CPU 기반 반경 검색은 S3DIS에서 훈련 속도를 199.9 kpts/s로 향상시켜 GPU 대비 8배 빠른 성능을 기록했습니다.
• 정렬 파이프라인은 KITTI 오도메트리에서 99.8% 성공률, 3DMatch에서 FCGF + RANSAC 조합으로 94.3% 성공률를 기록하여 이전 최고 기록과 동등하거나 이를 초월했습니다.
• 프레임워크는 5개의 작업과 7개의 데이터셋 간에 일관되고 공정한 벤치마킹을 가능하게 하여 모든 모델가 동일한 조건에서 평가됨을 보장했습니다.
• 모듈형 설계 덕분에 새로운 모델, 데이터셋, 추론 방식을 최소한의 코드 변경으로 원활하게 통합할 수 있었습니다.