[논문 리뷰] PointCutMix: Regularization Strategy for Point Cloud Classification

Jinlai Zhang, Lyujie Chen외 6명|arXiv (Cornell University)|2021. 01. 05.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

PointCutMix는 최적의 운반을 통해 두 개의 3D 포인트 클라우드 간에 포인트를 최적의 방식으로 할당하고 교체함으로써 합성 훈련 샘플을 생성하는 3D 포인트 클라우드 분류를 위한 새로운 데이터 증강 전략이다. 이는 최소한의 계산 부담으로도 모델의 정확도와 강건성을 크게 향상시키며, 기존 최고 수준의 방어 방법보다도 포인트 클라우드 공격에 대해 뛰어난 성능을 보인다.

ABSTRACT

As 3D point cloud analysis has received increasing attention, the insufficient scale of point cloud datasets and the weak generalization ability of networks become prominent. In this paper, we propose a simple and effective augmentation method for the point cloud data, named PointCutMix, to alleviate those problems. It finds the optimal assignment between two point clouds and generates new training data by replacing the points in one sample with their optimal assigned pairs. Two replacement strategies are proposed to adapt to the accuracy or robustness requirement for different tasks, one of which is to randomly select all replacing points while the other one is to select k nearest neighbors of a single random point. Both strategies consistently and significantly improve the performance of various models on point cloud classification problems. By introducing the saliency maps to guide the selection of replacing points, the performance further improves. Moreover, PointCutMix is validated to enhance the model robustness against the point attack. It is worth noting that when using as a defense method, our method outperforms the state-of-the-art defense algorithms. The code is available at:https://github.com/cuge1995/PointCutMix

연구 동기 및 목표

• 딥 러닝에서 3D 포인트 클라우드 데이터셋의 크기 제한과 낮은 일반화 능력 문제를 해결한다.
• 형태 복잡성을 유지하면서 모델의 일반화 능력을 향상시키는 데이터 증강 전략을 개발한다.
• 특히 포인트 제거 및 변형 공격에 대한 모델의 강건성을 향상시킨다.
• 악성 입력을 수정하지 않고 PointCutMix를 방어 수단으로 활용하는 것을 탐색한다.
• 이를 객체 수준 분류 및 포인트 수준 세그멘테이션 작업 모두에 확장한다.

제안 방법

• 최적의 운반(MSN를 통한)을 사용해 두 포인트 클라우드 간의 최적의 포인트 대응 관계를 계산한다.
• 두 가지 교체 전략을 제안한다: PointCutMix-R(모든 포인트를 무작위 선택)와 PointCutMix-K(무작위 포인트의 k개 이웃 포인트).
• 선택된 교체 포인트를 안내하기 위해 선명도 맵(saliency maps)을 통합하여 성능을 향상시킨다.
• 훈련 중에 두 포인트 클라우드의 구조적 요소를 조합한 혼합 샘플을 생성하기 위해 이 방법을 적용한다.
• PointCutMix로 훈련된 사전 학습 모델을 악성 포인트 클라우드 공격에 대한 방어 수단으로 활용한다.
• 악성 입력을 수정하지 않은 채로 다양한 공격(포인트 제거, kNN, 변형 공격 등)에 대한 강건성을 평가한다.

Figure 1: Some mixed samples produced by PointCutMix-R (top row) and PointCutMix-K (bottom row). The data generated by PointCutMix-R looks like two objects cross each other while the samples from PointCutMix-K are the obvious combination of two object parts.

실험 결과

연구 질문

• RQ1 CutMix와 같은 혼합 샘플 기반 데이터 증강 전략이 순서가 없는 3D 포인트 클라우드 데이터에 효과적으로 적용될 수 있는가?
• RQ2 다른 교체 전략(무작위 대비 k-NN)이 포인트 클라우드 분류에서 모델 성능과 강건성에 어떤 영향을 미치는가?
• RQ3 PointCutMix는 ModelNet40 및 ModelNet10과 같은 소규모 포인트 클라우드 데이터셋에서 일반화 능력을 향상시킬 수 있는가?
• RQ4 PointCutMix는 특히 방어 수단으로 사용될 경우 모델의 강건성을 어느 정도 향상시킬 수 있는가?
• RQ5 선명도 맵을 통합함으로써 PointCutMix의 교체 포인트 선택 지도 능력이 추가로 향상되는가?

주요 결과

• PointCutMix-R 및 PointCutMix-K는 다양한 백본 네트워크를 통해 ModelNet40 및 ModelNet10에서 일관되게 분류 정확도를 향상시킨다.
• PointCutMix는 포인트 클라우드 세그멘테이션에서 희귀 클래스에 대해 성능을 크게 향상시켜 클래스 불균형 문제를 완화한다.
• PointCutMix로 훈련된 모델은 포인트 제거 공격 상황에서도 80% 이상의 정확도를 유지하며, 기준선인 IF-Defense보다 크게 뛰어나다.
• PointCutMix-R는 kNN 및 변형 공격에 대한 방어에서 두 번째로 높은 성능을 기록하며, 최고 수준의 기존 방법들과 밀도 있게 경쟁한다.
• 이 방법은 악성 포인트 클라우드를 변환하지 않아도 되므로 더 효율적이고 자연스럽고, 최고 수준의 방어 알고리즘을 초월한다.
• 선명도 지도 기반 교체 전략은 성능을 추가로 향상시켜, PointCutMix에서 주의 기반 샘플링의 가치를 확인한다.

Figure 2: The visualization of the mixed samples between a plane and a chair under different replacement ratio $\lambda$ . The samples in the first and second row are generated by PointCutMix-R and PointCutMix-K respectively.