[논문 리뷰] RobustPointSet: A Dataset for Benchmarking Robustness of Point Cloud Classifiers

Saeid Asgari Taghanaki, Jieliang Luo외 4명|arXiv (Cornell University)|2020. 11. 23.

3D Shape Modeling and Analysis인용 수 11

한 줄 요약

이 논문은 ModelNet40에서 유도된 RobustPointSet이라는 벤치마크 데이터셋을 소개한다. 이 데이터셋은 데이터 증강에 의존하지 않고, 소음, 부품 손실, 가림, 희소성, 이동, 회전 등의 6가지 새로운 변형에 대해 점군 분류기의 성능을 평가한다. 주요 발견은 어떤 모델도 모든 변형에서 일관되게 뛰어난 성능을 내지 못하며, 새로운 변형에 대해 데이터 증강이 거의 향상시키지 못한다는 점으로, 실제 3D 데이터에 대한 모델의 강인성에 심각한 격차가 있음을 시사한다.

ABSTRACT

The 3D deep learning community has seen significant strides in pointcloud processing over the last few years. However, the datasets on which deep models have been trained have largely remained the same. Most datasets comprise clean, clutter-free pointclouds canonicalized for pose. Models trained on these datasets fail in uninterpretible and unintuitive ways when presented with data that contains transformations "unseen" at train time. While data augmentation enables models to be robust to "previously seen" input transformations, 1) we show that this does not work for unseen transformations during inference, and 2) data augmentation makes it difficult to analyze a model's inherent robustness to transformations. To this end, we create a publicly available dataset for robustness analysis of point cloud classification models (independent of data augmentation) to input transformations, called RobustPointSet. Our experiments indicate that despite all the progress in the point cloud classification, there is no single architecture that consistently performs better -- several fail drastically -- when evaluated on transformed test sets. We also find that robustness to unseen transformations cannot be brought about merely by extensive data augmentation. RobustPointSet can be accessed through https://github.com/AutodeskAILab/RobustPointSet.

연구 동기 및 목표

• 학습 중에 나타나지 않은 입력 변형에 대한 점군 분류 모델의 강인성 평가 부족 문제를 해결하기 위해.
• 공정하고 해석 가능한 강인성 분석을 위해 데이터 증강에 의존하지 않는 데이터셋을 만들기 위해.
• 최신 기술 모델이 깨끗한 데이터에서는 높은 성능을 내지만, 변형된 테스트 세트에서는 상당한 성능 저하를 보임을 경험적으로 입증하기 위해.
• 데이터 증강이 새로운 변형에 대한 일반화 능력을 효과적으로 향상시키지 못함을 보여주기 위해.
• 향후 3D 딥러닝 분야의 강인성 연구를 위한 표준화된 벤치마크를 확립하기 위해.

제안 방법

• 원본 테스트 세트에 대해 6가지 변형을 적용한 버전을 생성함으로써 ModelNet40을 확장함.
• 실제 환경에 가까운 변형을 적용: 무작위 소음, 축에 수직인 조각 삭제를 통한 부품 손실, 가림, 희소성, 이동, 회전.
• 표준 평가 및 한 번에 하나의 변형을 제외한 이외의 변형으로 훈련하는 이론적 일반화 능력을 테스트하는 두 가지 평가 프로토콜 설계.
• 모든 실험에서 동일한 훈련 세트를 사용하여 테스트 시점의 변형이 모델 성능에 미치는 영향을 고립시킴.
• 제어된 조건에서 평가하기 위해 표준 점군 분류 아키텍처(예: PointNet, DGCNN, PointNet++)를 활용함.
• 각 변형 유형에 대해 분류 정확도를 측정하여 강인성을 정량화하고, 동일한 조건에서 다양한 모델 간 성능 비교.

실험 결과

연구 질문

• RQ1 최신 기술의 점군 분류기는 훈련 중에 나타나지 않은 변형에 일반화할 수 있는가?
• RQ2 데이터 증강은 점군 분류에서 새로운 변형에 대한 강인성에 얼마나 기여하는가?
• RQ3 다양한 변형에서 항상 다른 모델보다 뛰어난 성능을 내는 단일 모델 아키텍처가 존재하는가?
• RQ4 소음, 부품 손실, 가림 등의 다양한 유형의 입력 손상이 모델 성능에 어떤 영향을 미치는가?
• RQ5 데이터 증강에 의존하지 않는 벤치마크 데이터셋은 더 신뢰할 수 있고 해석 가능한 강인성 평가를 가능하게 하는가?

주요 결과

• PointNet과 DGCNN는 원본 테스트 세트에서 평균 정확도가 각각 89.06%와 92.52%로 가장 높았지만, 변형된 세트에서는 상당한 성능 저하를 보였다.
• 소음 테스트 세트에서 PointNet의 정확도는 74.72%로 떨어졌고, DGCNN는 57.56%로 떨어져 소음에 대한 강인성이 떨어지는 것으로 나타났다.
• 회전 불변 모델인 SPHnet과 PRIN조차도 심각한 성능 저하를 보였으며, SPHnet은 소음 세트에서 정확도가 7.22%로 급격히 떨어졌다.
• 이론적 일반화 평가(leave-one-out 검증) 결과, 여러 변형 유형으로 훈련할 경우 평균적으로 최대 10% 정도의 성능 향상만 나타나, 일반화 효과가 제한적임을 시사했다.
• 모든 변형 유형에서 어떤 모델도 다른 모델보다 일관되게 뛰어나지 않아 현재 아키텍처에 보편적인 강인성이 부족함을 드러냈다.
• 모든 변형에 대한 평균 정확도는 PointNet의 경우 61.97%, DGCNN의 경우 60.74%로 떨어졌으며, 이는 강인성 인식 설계의 필요성을 강조한다.