[논문 리뷰] 3DOS: Towards 3D Open Set Learning -- Benchmarking and Understanding Semantic Novelty Detection on Point Clouds

Antonio Alliegro, Francesco Cappio Borlino외 1명|arXiv (Cornell University)|2022. 07. 23.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 포인트 클라우드에서의 의미적 신규성 탐지 능력을 평가하기 위해 합성 데이터에서 합성 데이터로, 실세계 데이터에서 실세계 데이터로, 합성 데이터에서 실세계 데이터로의 설정을 포함하는 3D Open Set Learning을 위한 첫 번째 벤치마크인 3DOS를 소개한다. 간단한 방법들인 Cosine proto와 MSP는 PointNet++를 사용할 경우 종종 복잡한 최신 2D Open Set 기법들보다 뛰어난 성능을 보이며, 도메인 이동 문제의 도전성과 PointNet++의 실세계 환경에서의 강건성을 부각시킨다.

ABSTRACT

In recent years there has been significant progress in the field of 3D learning on classification, detection and segmentation problems. The vast majority of the existing studies focus on canonical closed-set conditions, neglecting the intrinsic open nature of the real-world. This limits the abilities of robots and autonomous systems involved in safety-critical applications that require managing novel and unknown signals. In this context exploiting 3D data can be a valuable asset since it provides rich information about the geometry of perceived objects and scenes. With this paper we provide the first broad study on 3D Open Set learning. We introduce 3DOS: a novel testbed for semantic novelty detection that considers several settings with increasing difficulties in terms of semantic (category) shift, and covers both in-domain (synthetic-to-synthetic, real-to-real) and cross-domain (synthetic-to-real) scenarios. Moreover, we investigate the related 2D Open Set literature to understand if and how its recent improvements are effective on 3D data. Our extensive benchmark positions several algorithms in the same coherent picture, revealing their strengths and limitations. The results of our analysis may serve as a reliable foothold for future tailored 3D Open Set methods.

연구 동기 및 목표

• 실세계 구현 시 분포 이동이 수반되는 상황에서 3D Open Set Learning에 대한 표준화된 평가 부족 문제를 해결하기 위해.
• 기존의 2D Open Set 기법들을 3D 포인트 클라우드 데이터에 적용하여 이식 가능성과 효과성을 평가하기 위해.
• 3D 포인트 클라우드 분류에서 의미적 이동과 도메인 이동에 대한 처리에 가장 강건한 아키텍처와 방법을 규명하기 위해.
• 미래의 맞춤형 3D Open Set 학습 기법 개발을 가능하게 하는 종합적이고 재현 가능한 벤치마크를 제공하기 위해.

제안 방법

• 분포 이동 수준이 점차 증가하는 Synthetic, Real-to-Real, Synthetic-to-Real 설정을 포함하는 다중 트랙 벤치마크인 3DOS를 제안한다.
• 아키텍처 선택이 Open Set 성능에 미치는 영향을 분석하기 위해 PointNet++, DGCNN 및 기타 여러 백본 네트워크를 활용한다.
• MSP, ODIN, Energy 점수, GradNorm, ReAct, 그리고 거리 기반 방법들인 Cosine proto와 CE(L²)를 포함한 다양한 OOD 탐지 기법을 적용한다.
• 도메인 이동 상황에서도 일반화 능력을 향상시키기 위해 SubArcFace와 mixup 기반 데이터 증강 기법을 도입한다.
• 모든 벤치마크에서 탐지 성능을 평가하기 위해 AUROC와 FPR95를 주요 지표로 사용한다.
• 백본 선택과 방법 성능에 대한 분석을 위해 아웃풋셋 정확도 비교를 포함한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 분포 이동 조건에서 2D Open Set 기법들이 3D 포인트 클라우드 데이터에 적용되었을 때 성능는 어떠한가?
• RQ2 3D Open Set 학습에서 도메인 이동과 의미적 이동에 대한 강건성이 뛰어난 백본 아키텍처로 PointNet++와 DGCNN 중 어느 것이 더 우수한가?
• RQ3 기존의 Open Set 기법들이 3D 환경에서 의미적 이동과 도메인 이동이 동시에 발생할 경우 성능이 얼마나 떨어지는가?
• RQ4 MSP나 Cosine proto와 같은 간단한 표현 학습 방법이 3D 환경에서 복잡한 최신 2D 기반 OOD 탐지 기법들을 능가할 수 있는가?
• RQ5 모델 일반화 능력 측면에서 세 가지 벤치마크 트랙(Synthetic, Real-to-Real, Synthetic-to-Real) 중 어느 것이 상대적으로 더 어려운가?

주요 결과

• PointNet++는 모든 벤치마크에서 DGCNN을 일관되게 능가하며, 실세계 데이터에서 노이즈와 도메인 이동에 대한 강건성을 입증한다.
• Synthetic-to-Real 벤치마크에서 MSP 기반 모델이 PointNet++를 사용할 경우 DGCNN 기반 모델 대비 AUROC가 8.9 pp 높고, FPR95가 7.4 pp 높다.
• Real-to-Real 벤치마크에서 Cosine proto는 DGCNN과 PointNet++ 양쪽에서 최고의 전반적 성능을 기록하며, 더 복잡한 기법들보다 뛰어난 성능을 보였다.
• SubArcFace는 모든 백본과 설정에서 평균 AUROC가 가장 높게 기록하여 도메인 이동 상황에서도 강력한 일반화 능력을 보였다.
• 고급 기법이 MSP를 초월하는 성능 향상은 Synthetic 벤치마크에서 가장 두드러지게 나타나 (+3.1 AUROC), 그러나 교차 도메인 설정에서는 크게 감소하여 실세계 구현에서는 성능 향상이 제한적임을 시사한다 (Real-to-Real에서 뿐만 +0.6 AUROC).
• 거리 기반 방법들인 CE(L²)와 Cosine proto는 기본 기법들보다 포인트 밀도 변화에 덜 민감하여 희소성에 대한 내재적 강건성을 보였다.