[논문 리뷰] 3DeformRS: Certifying Spatial Deformations on Point Clouds

Gabriel Pérez S., Juan C. Pérez외 3명|arXiv (Cornell University)|2022. 04. 12.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

3DeformRS는 3차원 점군 딥 네트워크(DNN)의 인식 성능이 실제 공간 변형(예: 회전, 이동, 비틀림)에 대해 강인함을 검증하는 인증 프레임워크를 제안한다. 랜덤라이즈드 스무딩(RS) 기반 기법을 3차원 기하학에 적응시켜 최소한의 정확도 손실로 강인성 보증 마진을 제공함으로써, 훈련 시 증강 기법이 교차 변형 간 강인성을 크게 향상시키며 청소년 정확도를 유지함을 입증한다.

ABSTRACT

3D computer vision models are commonly used in security-critical applications such as autonomous driving and surgical robotics. Emerging concerns over the robustness of these models against real-world deformations must be addressed practically and reliably. In this work, we propose 3DeformRS, a method to certify the robustness of point cloud Deep Neural Networks (DNNs) against real-world deformations. We developed 3DeformRS by building upon recent work that generalized Randomized Smoothing (RS) from pixel-intensity perturbations to vector-field deformations. In particular, we specialized RS to certify DNNs against parameterized deformations (e.g. rotation, twisting), while enjoying practical computational costs. We leverage the virtues of 3DeformRS to conduct a comprehensive empirical study on the certified robustness of four representative point cloud DNNs on two datasets and against seven different deformations. Compared to previous approaches for certifying point cloud DNNs, 3DeformRS is fast, scales well with point cloud size, and provides comparable-to-better certificates. For instance, when certifying a plain PointNet against a 3° z-rotation on 1024-point clouds, 3DeformRS grants a certificate 3x larger and 20x faster than previous work.

연구 동기 및 목표

• 실제 공간 변형(예: 회전, 이동, 비틀림)에 대해 3차원 점군 DNN에 대한 인증 강인성 방법의 부족을 해결하기 위해.
• 원래 픽셀 강도 변형에 대해 설계된 랜덤라이즈드 스무딩(RS) 프레임워크를 점군 기하학적 변형으로 확장하여, 점의 위치가 입력의 본질적 특성임을 고려하기 위해.
• 특정 변형을 포함한 데이터 증강 기법이 청소년 정확도를 저하시키지 않으면서도 교차 변형 간 강인성을 향상시키는지 평가하기 위해.
• 안전 기반 3차원 시각 시스템(예: 자율주행차, 수술용 로봇)에 적용 가능한 이론적으로 탄탄하고 확장 가능한 인증 방법을 제공하기 위해.
• 물리적으로 의미 있는 변형(예: 비틀림)과 비정형 노이즈(예: 가우시안 노이즈)를 구분하여, 유의미한 의미의 변형만이 신뢰할 수 있는 강인성을 제공함을 보여주기 위해.

제안 방법

• 점군 기하학에 대한 공간 변형을 입력의 변형으로 모델링하여, 랜덤라이즈드 스무딩(RS) 프레임워크를 3차원 점군 DNN에 적용한다.
• 특수화된 인증 절차를 도입하여 $z$-회전, $xyz$-회전, 이동, 비틀림 등의 기하학적 변형에 대해 강인성 인증을 수행한다.
• 예측 결과를 다수의 변형된 입력 점군에 대해 평균화하는 스무딩 전략을 활용하여 강인성 보장을 유도한다.
• 3차원 기하학에 특화된 RS 이론적 응용을 제안하며, 정리 1에 의해 공간 변형에 대한 간접 강인성 한계를 유도한다.
• PointNet++ 및 DGCNN와 같은 표준 아키텍처에 적용하여 다양한 변형 유형에 대해 강인성을 평가한다.
• 청결한 정확도와 다양한 증강 및 변형 조건 하에서의 강인성 인증을 통해 강인성을 실증적으로 평가한다.

Figure 1 : Relative improvements on ACR per augmentations

실험 결과

연구 질문

• RQ1 랜덤라이즈드 스무딩(RS) 프레임워크는 3차원 점군 DNN에서 실제 공간 변형에 대해 간접 강인성을 효과적으로 확장할 수 있는가?
• RQ2 특정 기하학적 증강 기법을 사용한 훈련이 동일하거나 다른 변형에 대해 DNN의 강인성에 어떤 영향을 미치는가?
• RQ3 물리적으로 의미 있는 변형과 비정형 노이즈를 사용할 경우, 강인성 인증과 청결한 정확도 사이의 상충 관계는 어떻게 되는가?
• RQ4 예를 들어, 회전이나 비틀림과 같은 변형을 포함한 데이터 증강이 교차 변형 간 강인성을 얼마나 향상시키는가?
• RQ5 3DeformRS는 SO(3) 변형에 강인한 모델(예: 벡터 뉴런 기반 네트워크)에 적용되어 비정적 변형에 대한 강인성을 확장할 수 있는가?

주요 결과

• 점군 DNN인 PointNet++와 DGCNN에 대해 회전 증강을 적용한 결과, 회전 뿐 아니라 비틀림에 대해서도 간접 강인성 향상이 뚜렷하게 나타나, 교차 변형 일반화가 가능함을 확인하였다.
• 물리적으로 의미 있는 변형(예: 회전, 비틀림)을 증강 기법으로 사용할 경우 청결한 정확도를 저하시키지 않으면서도 강인성을 향상시켰으며, 가우시안 노이즈의 경우 최대 5.8%의 정확도 저하가 발생하였다.
• 특정 변형에 맞춘 증강 기법을 사용해 훈련한 모델일수록 간접 간접 보증 마진이 뚜렷하게 높아졌으며, 그림 1의 대각선 개선 결과에서 동일한 변형 타입에 대해 최대 20%의 상대적 향상이 관찰되었다.
• 프레임워크는 확장성과 효율성이 뛰어나 계산 오버헤드가 최소로 유지되어 실제 안전 기반 시스템에의 실용적 구현이 가능함을 입증하였다.
• 비정적 변형(예: 비틀림)에 대해서도 간접 간접 보증을 달성하여, SO(3) 불변 모델이 커버하지 못하는 영역까지 적용 가능함을 보여주며, 더 넓은 적용 가능성을 입증하였다.
• 공격를 통한 실증적 날카운드 경계 계산은 계산적으로 비효율적이므로, 이전 연구들과 일관되게 표준 RS 기반 평가를 채택하였다.