[논문 리뷰] Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding

Guofeng Mei, Cristiano Saltori외 5명|arXiv (Cornell University)|2022. 10. 06.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 최적화 운반 기반 소프트 클러스터링을 통해 기하학적 및 특징 공간 일관성을 강제함으로써 소프트 클러스터링을 사용해 의사 레이블을 생성하는 데이터 증강을 필요로 하지 않는 3D 포인트 클라우드 표현 학습을 위한 비지도 학습 방법 SoftClu를 제안한다. 이는 ModelNet40, ShapeNet, S3DIS에서 최신 기술을 초월하며, PointNet를 사용할 경우 ModelNet40에서 93.5%의 정확도를 달성하고, DGCNN를 사용할 경우 S3DIS에서 59.2%의 mIoU를 기록한다.

ABSTRACT

Unsupervised learning on 3D point clouds has undergone a rapid evolution, especially thanks to data augmentation-based contrastive methods. However, data augmentation is not ideal as it requires a careful selection of the type of augmentations to perform, which in turn can affect the geometric and semantic information learned by the network during self-training. To overcome this issue, we propose an augmentation-free unsupervised approach for point clouds to learn transferable point-level features via soft clustering, named SoftClu. SoftClu assumes that the points belonging to a cluster should be close to each other in both geometric and feature spaces. This differs from typical contrastive learning, which builds similar representations for a whole point cloud and its augmented versions. We exploit the affiliation of points to their clusters as a proxy to enable self-training through a pseudo-label prediction task. Under the constraint that these pseudo-labels induce the equipartition of the point cloud, we cast SoftClu as an optimal transport problem. We formulate an unsupervised loss to minimize the standard cross-entropy between pseudo-labels and predicted labels. Experiments on downstream applications, such as 3D object classification, part segmentation, and semantic segmentation, show the effectiveness of our framework in outperforming state-of-the-art techniques.

연구 동기 및 목표

• 데이터 증강에 의존하지 않아도 되는 비지도 3D 포인트 클라우드 표현 학습을 달성하여 의미를 왜곡하거나 수동 튜닝이 필요로 하는 문제를 해결하고자 한다.
• 인간 레이블이 없는 조건에서 기하학적 공간과 특징 공간의 클러스터 구조를 활용해 이식 가능한 포인트 수준의 특징을 학습하고자 한다.
• 데이터 증강 선택에 민감하고 불안정한 대비 학습의 문제를 피하기 위해 자기지도 학습 프레임워크를 개발하고자 한다.
• 분류, 파트 세그멘테이션, 의미 세그멘테이션과 같은 3D 이해 작업의 최종 성능을 향상시키고자 한다.
• 3D 포인트 클라우드에 적용 가능한 일반적이고 아키텍처에 종속되지 않는 사전 학습 방법을 제공하고자 한다.

제안 방법

• SoftClu는 소프트 의사 레이블을 할당하기 위해 자기지도 사전 학습을 최적화 운반 문제로 공식화하여 균형 잡힌 클러스터 분할을 보장한다.
• 기하학적 공간과 특징 공간에서 같은 클러스터에 속한 점들이 가까이 있도록 하기 위해 기하학적 및 특징 프로토타입을 통합하여 적용한다.
• 이 방법은 의사 레이블을 생성하기 위해 포인트 특징을 클러스터링하고, 이러한 의사 레이블에 기반해 크로스 엔트로피 손실을 사용해 백본을 훈련하는 방식으로 번갈아가며 수행된다.
• 핵심 혁신은 최적화 운반을 통해 클러스터 간 포인트 클라우드의 균형 잡힌 분할을 강제하는 제약 조건이 있는 최적화 프레임워크를 도입한 것이다.
• 이 방법은 백본 아키텍처에 종속되지 않으며, PointNet나 DGCNN와 같은 어떤 포인트 클라우드 인코더와도 적용 가능하다.
• 명시적인 데이터 증강 없이도 엔드 투 엔드 훈련이 가능한 미분 가능 클러스터링 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 데이터 증강에 의존하지 않고도 최신 기술 수준의 3D 포인트 클라우드 표현 학습을 달성할 수 있는가?
• RQ2 기하학적 일관성과 특징 일관성만을 활용해 비지도 방식으로 포인트 수준의 특징을 효과적으로 학습할 수 있는가?
• RQ3 기하학적 및 특징 프로토타입을 결합할 경우 클러스터링 품질과 최종 성능에 어떤 영향을 미치는가?
• RQ4 클러스터 수에 대해 이 방법이 얼마나 민감한가? 어떤 최적의 분할이 가장 좋은 성능을 낼 수 있는가?
• RQ5 소프트 클러스터링 기반의 의사 레이블링 기법이 이식성과 안정성 측면에서 대비 학습을 능가할 수 있는가?

주요 결과

• PointNet를 사용할 경우 SoftClu는 ModelNet40에서 93.5%의 정확도를 달성하여 OcCo(92.0%)와 Jigsaw3D(90.1%)를 능가한다.
• DGCNN를 사용할 경우 SoftClu는 ModelNet10에서 94.8%의 정확도를 기록하고 ModelNet40에서도 94.8%를 달성하여 모든 기준 모델을 압도한다.
• S3DIS에서 SoftClu는 DGCNN를 사용해 85.4%의 OA와 59.2%의 mIoU를 기록했으며, CrossPoint(84.7% OA, 58.4% mIoU)와 OcCo(84.6% OA, 58.0% mIoU)를 모두 초월한다.
• SR-UNet를 사용한 의미 세그멘테이션에서 SoftClu는 73.4%의 mIoU와 79.1%의 mAcc를 기록했으며, PointContrast(70.3% mIoU)와 ContrastiveScene(72.2% mIoU)를 모두 능가한다.
• 절단 분석 결과 기하학적 및 특징 프로토타입을 모두 사용할 경우 성능이 가장 우수하며, ModelNet40에서 64개의 클러스터가 최적임을 확인했다.
• V100 GPU에서 반복당 추가로 약 0.014ms의 오버헤드만 발생하여 최소한의 계산 비용을 유발한다.