[논문 리뷰] OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point Clouds

Ziyang Song, Bo Yang|arXiv (Cornell University)|2022. 10. 10.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 인간의 레이블이 전혀 필요 없이 단일 포인트 클라우드 프레임에서 다수의 객체를 분할하는 최초의 비지도 3D 다중 객체 분할 방법인 OGC를 제안한다. 이는 순차적인 포인트 클라우드 간의 강성 운동 역학을 새로운 기하 일관성 손실을 통해 자기지도 학습 신호로 활용하여, SAPIEN, OGC-DR, OGC-DRSV, KITTI-SF, KITTI-Det 등 다섯 개 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we study the problem of 3D object segmentation from raw point clouds. Unlike all existing methods which usually require a large amount of human annotations for full supervision, we propose the first unsupervised method, called OGC, to simultaneously identify multiple 3D objects in a single forward pass, without needing any type of human annotations. The key to our approach is to fully leverage the dynamic motion patterns over sequential point clouds as supervision signals to automatically discover rigid objects. Our method consists of three major components, 1) the object segmentation network to directly estimate multi-object masks from a single point cloud frame, 2) the auxiliary self-supervised scene flow estimator, and 3) our core object geometry consistency component. By carefully designing a series of loss functions, we effectively take into account the multi-object rigid consistency and the object shape invariance in both temporal and spatial scales. This allows our method to truly discover the object geometry even in the absence of annotations. We extensively evaluate our method on five datasets, demonstrating the superior performance for object part instance segmentation and general object segmentation in both indoor and the challenging outdoor scenarios.

연구 동기 및 목표

• 인간 레이블이 필요한 3D 객체 분할의 높은 비용 문제를 해결하기 위해 어떤 종류의 지도 학습도 필요로 하지 않도록 하는 것.
• 연속적인 입력이나 운동 클러스터링을 요구하는 대신, 단일 포인트 클라우드 프레임에서 동시에 다수의 3D 객체를 분할할 수 있도록 하는 것.
• 순차적 포인트 클라우드 내에 내재된 강성 운동 패턴을 객체 탐지의 자기지도 신호로 활용하는 것.
• 강성 운동 일관성과 변환에 대한 형태 불변성을 강제하는 기하 일관성 손실을 설계하는 것.
• 레이블이 없는 데이터에 의존하지 않고 실내 및 실외 환경 모두에 일반화 가능하도록 하는 것.

제안 방법

• 이 방법은 단일 포인트 클라우드 프레임에서 각 점의 마스크를 예측하는 분할 네트워크를 사용한다.
• 보조적인 자기지도 학습 기반의 스트림 플로우 추정기(예측기)가 두 개의 순차적 포인트 클라우드 간의 각 점 운동 벡터를 예측한다.
• 핵심 구성 요소로는 세 가지 손실이 도입된다: 다중 객체 동적 강성 일관성, 객체 형태의 매끄러움, 강성 변환 하에서의 형태 불변성.
• 강성 일관성 손실은 각 예측된 객체 마스크가 프레임 간 운동 벡터와 일치하도록 강성 변환될 수 있도록 보장한다.
• 매끄러움 손실은 객체 마스크가 공간적으로 일관되고 분할되지 않은 형태를 취하도록 정규화한다.
• 불변성 손실은 동일한 객체가 강성 변환에 의해 증강된 상황에서도 일관되게 분할되도록 보장하여 기하학적 학습의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 순차적 포인트 클라우드 내 강성 운동 역학이 비지도 3D 다중 객체 분할에 신뢰할 수 있는 자기지도 학습 신호로 기능할 수 있는가?
• RQ2 시간적 동역학을 활용하여 레이블 없이도 단일 프레임 분할 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ3 지도 학습이 없는 상황에서 기하 일관성과 형태 불변성을 어떻게 강제하여 마스크 품질을 향상시킬 수 있는가?
• RQ4 이 방법은 다양한 객체 유형과 운동 패턴을 가진 실내 및 실외 환경 모두에 일반화 가능한가?
• RQ5 제안된 방법이 전통적인 클러스터링 및 최적화 기반의 베이스라인보다 비지도 3D 분할에서 더 우수한 성능을 내는가?

주요 결과

• OGC는 인간의 레이블 없이도 SAPIEN, OGC-DR, OGC-DRSV, KITTI-SF, KITTI-Det 등 다섯 개의 데이터셋에서 최고 성능을 달성한다.
• KITTI-SF 데이터셋에서 OGC는 mIoU 63.7%와 RI 93.6%를 기록하여 최적화 기반의 베이스라인 및 운동 클러스터링 방법을 모두 능가한다.
• 제거 실험 결과, 표준 매끄러움 손실 $l_{smooth}$ 가 운동 유사도 가중 변형 $l_{smooth}^{ ext{prime}}$ 보다 우수한 성능을 보이며, 스트림 플로우 노이즈에 대한 강건성을 시사한다.
• 10% 레이블이 있는 KITTI-Det 데이터에서 사전 훈련으로 사용했을 경우, OGC는 AP를 71.5로 향상시켰지만 여전히 완전히 지도 학습으로부터의 초기 훈련 성능에는 미치지 못한다.
• 정성적 결과에서는 도로에 고정된 차량의 성공적인 분할이 관찰되어, 형태 불변성 손실이 유사하지만 움직이지 않는 객체로의 일반화에 효과적임을 보여준다.
• 강성 운동 가정에 의존하기 때문에 비강성 물체의 분할이나 미리 보지 못한 객체 유형의 탐지에 실패한다.