[논문 리뷰] PointHR: Exploring High-Resolution Architectures for 3D Point Cloud Segmentation

Haibo Qiu, Baosheng Yu외 2명|arXiv (Cornell University)|2023. 10. 11.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

PointHR는 knn 기반 시퀀스 연산자와 미분형 리샘플링 연산자를 사용하여 네트워크 전반에 걸쳐 다중 해상도 특징을 유지하는 고해상도 아키텍처를 제안한다. 특징 연산을 위한 인덱스를 사전에 계산함으로써 S3DIS와 ScanNetV2에서 유의미하게 감소된 계산 비용으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Significant progress has been made recently in point cloud segmentation utilizing an encoder-decoder framework, which initially encodes point clouds into low-resolution representations and subsequently decodes high-resolution predictions. Inspired by the success of high-resolution architectures in image dense prediction, which always maintains a high-resolution representation throughout the entire learning process, we consider it also highly important for 3D dense point cloud analysis. Therefore, in this paper, we explore high-resolution architectures for 3D point cloud segmentation. Specifically, we generalize high-resolution architectures using a unified pipeline named PointHR, which includes a knn-based sequence operator for feature extraction and a differential resampling operator to efficiently communicate different resolutions. Additionally, we propose to avoid numerous on-the-fly computations of high-resolution architectures by pre-computing the indices for both sequence and resampling operators. By doing so, we deliver highly competitive high-resolution architectures while capitalizing on the benefits of well-designed point cloud blocks without additional effort. To evaluate these architectures for dense point cloud analysis, we conduct thorough experiments using S3DIS and ScanNetV2 datasets, where the proposed PointHR outperforms recent state-of-the-art methods without any bells and whistles. The source code is available at \url{https://github.com/haibo-qiu/PointHR}.

연구 동기 및 목표

• 표준 인코더-디코더 네트워크가 초기에 특징을 다운샘플링하고 단계적으로 고해상도 예측을 복구함으로써 공간 정확도가 손상되는 문제를 해결하기 위해.
• 2D 비전에서 성공한 고해상도 아키텍처의 잠재력을 극대화하기 위해 네트워크 전반에서 병렬적으로 다중 해상도를 유지하여 3D 포인트 클라우드 분석에 적용하기 위해.
• 고해상도 아키텍처의 효율적 사용을 위해 knn 및 리샘플링 인덱스를 사전 계산하여 런타임 중의 계산을 최소화함으로써 3D에서의 적용 가능성을 높이기 위해.
• 기존에 잘 알려진 포인트 클라우드 블록(예: MLP, 어텐션)을 아키텍처 재설계 없이도 잘 통합할 수 있는 통합형 모듈러 프레임워크를 제공하기 위해.
• 추가 구성 요소나 복잡한 기법 없이도 고해상도 설계가 고밀도 3D 포인트 클라우드 세그멘테이션에서 뛰어난 성능을 내는 데 기여함을 입증하기 위해.

제안 방법

• MLP 및 어텐션 메커니즘과 같은 기존 포인트 클라우드 블록을 활용할 수 있도록 knn 기반 시퀀스 연산자를 사용하는 통합 파이프라인인 PointHR을 제안한다.
• 고해상도와 저해상도 특징 간의 효율적 교류를 가능하게 하기 위해 미분형 리샘플링 연산자를 도입한다.
• knn 특징 수집 및 리샘플링 연산(예: 최대 거리 점 샘플링, 격자 풀링)을 위한 인덱스를 사전에 계산하여 추론 및 훈련 중의 실시간 계산을 제거한다.
• 고해상도, 중간 해상도, 저해상도 특징을 동시에 유지하는 다단계 아키텍처를 사용하여 각 단계 내에서 빈번한 스케일 간 상호작용을 가능하게 한다.
• 시퀀스 연산자(MLP, 벡터 어텐션, 그룹화된 벡터 어텐션)와 리샘플링 전략(FPS + KNN, 격자 풀링)을 독립적으로 교체할 수 있는 모듈러 설계를 채택한다.
• 표준 훈련 프로토콜을 사용하여 S3DIS 및 ScanNetV2와 같은 표준 벤치마크에 통합 프레임워크를 적용함으로써 최신 기술 수준의 방법과의 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 2D 비전에서 효과적인 고해상도 아키텍처가 3D 포인트 클라우드 세그멘테이션에 성공적으로 적용되어 공간 정확도와 의미 이해도를 향상시킬 수 있는가?
• RQ2 비용이 많이 드는 실시간 knn 및 리샘플링 연산을 피하기 위해 고해상도 3D 아키텍처의 계산 비용을 성능 손실 없이 어떻게 줄일 수 있는가?
• RQ3 MLP, 어텐션 등 기존 포인트 클라우드 블록을 아키텍처 수정 없이 고해상도 3D 세그멘테이션 프레임워크 내에서 얼마나 잘 재사용할 수 있는가?
• RQ4 고해상도 특징을 동시에 유지하고 자주 스케일 간 소통을 하면, 인코더-디코더 네트워크의 순차적 다운/업샘플링 방식보다 성능이 향상되는가?
• RQ5 knn 및 리샘플링 연산을 위한 사전 계산된 인덱스가 고해상도 3D 세그멘테이션에서 훈련 및 추론 속도를 크게 향상시키면서도 정확도를 유지하는 데 기여하는가?

주요 결과

• PointHR는 mIoU 75.4% 및 mACC 82.8%로 ScanNetV2 데이터셋에서 최신 기술 수준의 성능을 달성하여 PTv2 및 PMeta와 같은 이전 최신 기술 수준의 방법들을 능가한다.
• PointHR-L 버전은 ScanNetV2 테스트 세트에서 76.6%의 mIoU를 기록하여 뛰어난 일반화 능력과 강건성을 입증한다.
• knn 및 리샘플링 인덱스를 사전 계산함으로써 기준 모델 대비 약 40%의 훈련 시간 감소를 달성하였으며, PointHR는 244 V100 GPU 시간을 소비한 반면 기준 모델은 412 V100 GPU 시간을 소비하였다.
• 그룹화된 벡터 어텐션(gva)을 시퀀스 연산자로 사용한 모델은 단지 390만 파라미터와 6.8G FLOPs로 74.9%의 mIoU를 기록하였으며, PTv2(75.4% mIoU, 1130만 파라미터, 14.3G FLOPs)를 능가하는 성능을 보였다.
• 모델의 깊이와 너비를 증가시킴(예: PointHR-T에서 PointHR-L로)함으로써 mIoU가 일관되게 향상되었으며, PointHR-T(72.7%)에서 PointHR-L(75.4%)로의 전환으로 2.4% 향상되었으며, 이는 확장성의 확인이다.
• 절단 분석 결과, 동일한 시퀀스 연산자(예: mlps, va, gva)를 사용할 때 고해상도 아키텍처(HR)를 적용한 경우 원래 방법보다 성능이 항상 향상됨을 보여주며, 이는 프레임워크의 효과성과 일반화 능력을 입증한다.