[논문 리뷰] DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution

Tong He, Chunhua Shen외 1명|arXiv (Cornell University)|2020. 11. 26.

3D Shape Modeling and Analysis참고 문헌 44인용 수 9

한 줄 요약

DyCo3D는 카테고리 인식 컨텍스트와 경량 트랜스포머를 활용해 실시간으로 인스턴스별 컨볼루션 커널을 생성하는 제안 없이 동적 컨볼루션 기반의 3D 포인트 클라우드 인스턴스 세그멘테이션 방법을 제안한다. 이는 기존의 바텀업 방법에 비해 초과 25% 빠른 추론 속도와 더불어 하이퍼파라미터 변화에 대한 뛰어난 내성성을 보이며, ScanNetV2와 S3DIS에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Previous top-performing approaches for point cloud instance segmentation involve a bottom-up strategy, which often includes inefficient operations or complex pipelines, such as grouping over-segmented components, introducing additional steps for refining, or designing complicated loss functions. The inevitable variation in the instance scales can lead bottom-up methods to become particularly sensitive to hyper-parameter values. To this end, we propose instead a dynamic, proposal-free, data-driven approach that generates the appropriate convolution kernels to apply in response to the nature of the instances. To make the kernels discriminative, we explore a large context by gathering homogeneous points that share identical semantic categories and have close votes for the geometric centroids. Instances are then decoded by several simple convolutional layers. Due to the limited receptive field introduced by the sparse convolution, a small light-weight transformer is also devised to capture the long-range dependencies and high-level interactions among point samples. The proposed method achieves promising results on both ScanetNetV2 and S3DIS, and this performance is robust to the particular hyper-parameter values chosen. It also improves inference speed by more than 25% over the current state-of-the-art. Code is available at: https://git.io/DyCo3D

연구 동기 및 목표

• 제안 생성에 의존하지 않고 하이퍼파라미터 조정에 민감한 기존 바텀업 3D 인스턴스 세그멘테이션 방법의 한계를 해결하기 위해.
• 각 인스턴스의 기하학적 및 의미적 컨텍스트에 맞게 동적으로 커널을 생성하는 제안 없는 데이터 기반 접근법을 개발하기 위해.
• 포인트 클라우드 벤치마크에서 정확도를 유지하거나 향상시키면서도 추론 효율성을 향상시키기 위해.
• 희박하고 비정규적인 3D 포인트 클라우드에서 장거리 특징 모델링을 향상시키기 위해 경량 트랜스포머 모듈을 도입하기 위해.
• 수동적인 하이퍼파라미터 조정 없이 다양한 시나리오와 인스턴스 크기 변화에 대해 안정적인 성능을 확보하기 위해.

제안 방법

• DyCo3D는 각 포인트의 의미적 레이블과 기하학적 중심점 투표를 기반으로 커널 가중치를 동적으로 생성하는 동적 컨볼루션을 사용하여 인스턴스별 특징 학습을 가능하게 한다.
• 경량 서브넷이 동일한 의미적 레이블과 유사한 중심점 투표를 가진 포인트를 집합화하여 커널 생성을 위한 카테고리 특화된 컨텍스트를 인코딩한다.
• 동적으로 생성된 필터를 사용해 표준 컨볼루션 레이어를 통해 인스턴스 마스크를 병렬로 디코딩함으로써 제안 생성이나 클러스터링이 필요 없어진다.
• 장거리 상호작용을 포괄하기 위해 수용역과 거리가 먼 포인트 영역 간의 의존성을 포착할 수 있도록 경량 트랜스포머 모듈을 도입한다.
• 효율성을 위해 희박한 3D 컨볼루션을 활용하고, 계산 오버헤드를 증가시키지 않으면서도 고수준 상호작용을 모델링하기 위해 트랜스포머를 통합한다.
• 전체 파이프라인은 히어스틱 그룹핑이나 복잡한 후처리 단계 없이 엔드 투 엔드로 훈련 가능하다.

실험 결과

연구 질문

• RQ1 제안 생성에 의존하지 않고 3D 포인트 클라우드 인스턴스 세그멘테이션을 위한 인스턴스별 커널을 동적 컨볼루션으로 효과적으로 생성할 수 있는가?
• RQ2 경량 트랜스포머의 통합이 희박한 3D 포인트 클라우드에서 장거리 특징 모델링에 어떻게 기여하는가?
• RQ3 기존 바텀업 접근법에 비해 제안된 방법은 하이퍼파라미터 조정에 얼마나 민감한가?
• RQ4 높은 추론 속도를 유지하면서도 최신 기준 성능을 달성할 수 있는가?
• RQ5 커널 생성 과정에서 카테고리 인식 컨텍스트를 활용할 경우 인스턴스 구분 및 세그멘테이션 정확도는 어떻게 향상되는가?

주요 결과

• ScanNetV2 검증 세트에서 DyCo3D는 mAP 61.0%와 AP@50 70.4%를 기록하여 PointGroup보다 각각 0.7%와 0.6% 높고, 3D-MPA보다 AP@50와 mAP에서 각각 2.3%와 4.9% 높게 기록했다.
• ScanNetV2 테스트 세트에서 DyCo3D는 모든 방법 중 가장 높은 AP@50 점수 64.1%를 확보했으며, 'bed'와 'toilet'에 대해 각각 100%의 높은 성능을 보였다.
• S3DIS에서 DyCo3D는 mPrec 65.8%와 mRec 69.6%를 기록하여 PointGroup보다 각각 2.6%와 2.1% 높았고, AP@50는 60.9%로 PointGroup 대비 3.1% 향상되었다.
• 현재 최신 기준 성능에 비해 초과 25% 빠른 추론 속도를 확보하여 뛰어난 효율성을 입증했다.
• 시각적 비교를 통해 그림 1에 나타난 바와 같이 DyCo3D는 PointGroup에 비해 하이퍼파라미터 변화에 훨씬 더 내성적이며, 과다 분할 오류도 적게 발생시켰다.
• 제거 분석 결과 동적 컨볼루션과 경량 트랜스포머 모두 성능 향상에 기여하며, 특히 장거리 모델링에 있어 트랜스포머가 핵심적인 역할을 한다.