[논문 리뷰] Interpreting Representation Quality of DNNs for 3D Point Cloud Processing

Wen Shen, Qihan Ren외 2명|arXiv (Cornell University)|2021. 11. 05.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 다중 순서 상호작용을 통한 공간적 부드러움, 표현 복잡성, 그리고 여섯 가지 지역 감도 지표(회전, 이동, 체적, 세 가지 구조 유형)를 도입하여 3D 포인트 클라우드 처리에서 딥 네ural 네트워크(DNN) 표현의 해석과 평가를 위한 종합적인 프레임워크를 제안한다. 주요 발견은 대부분의 DNN이 특히 모서리와 가장자리에서 매우 높은 회전 민감도를 보이며, 적대적 훈련이 강건성과 전반적인 구조 인코딩 능력을 크게 향상시킨다는 것이다.

ABSTRACT

In this paper, we evaluate the quality of knowledge representations encoded in deep neural networks (DNNs) for 3D point cloud processing. We propose a method to disentangle the overall model vulnerability into the sensitivity to the rotation, the translation, the scale, and local 3D structures. Besides, we also propose metrics to evaluate the spatial smoothness of encoding 3D structures, and the representation complexity of the DNN. Based on such analysis, experiments expose representation problems with classic DNNs, and explain the utility of the adversarial training.

연구 동기 및 목표

• 기하 변환에 대한 취약성을 규명하여 3D 포인트 클라우드 처리를 위한 DNN 지식 표현의 품질을 진단하기 위해.
• DNN의 투명성 부족 문제를 해결하기 위해, 회전, 이동, 체적 및 국소 3D 구조(모서리, 표면, 질량)에 대한 지역 감도를 정량화하기 위해.
• 다중 순서 상호작용을 통해 특성 기여도의 공간적 부드러움과 표현 복잡성의 정도를 평가하기 위해.
• 적대적 훈련이 DNN의 강건성과 전반적인 구조 인코딩 능력을 향상시키는 이유를 설명하기 위해.

제안 방법

• 기하 변환(회전, 이동, 체적, 세 가지 구조 유형) 하에서 기여도 변화를 정량화하기 위해 셰플리 값 기반 여섯 가지 지역 감도 지표를 제안한다.
• 이웃 영역 간 기여도의 유사도로 공간적 부드러움을 정의하여, DNN이 국소 3D 구조를 얼마나 일관되게 인코딩하는지 측정한다.
• 다중 순서 상호작용 프레임워크를 확장하여 표현 복잡성을 측정하며, 고차수 상호작용은 전반적인 구조적 의존성을 반영한다.
• 강건성 향상을 평가하기 위해, 회전 기반 공격과 데이터 증강(회전, 이동, 체적)을 활용한 적대적 훈련을 시행한다.
• 감도 지표의 타당성을 검증하기 위해, ModelNet10에 대해 오토인코더를 사용하여 재구성 작업을 수행한다.
• PointNet++와 DGCNN의 회전 불변 변형을 훈련시켜 표준 모델과의 강건성 차이를 비교한다.

실험 결과

연구 질문

• RQ1 다양한 기하 변환(회전, 이동, 체적)은 3D 포인트 클라우드 분류에서 DNN의 기여도에 어떤 영향을 미치는가?
• RQ2 기하 변환 민감도 측면에서 3D 포인트 클라우드의 가장 취약한 영역는 어디인가?
• RQ3 DNN은 이웃 영역 간 일관된 3D 구조를 반영하는가에 따라 공간적으로 부드러운 표현을 얼마나 잘 인코딩하는가?
• RQ4 DNN이 3D 구조에 대해 학습할 수 있는 최대의 맥락적 복잡성(다중 순서 상호작용을 통해)은 어느 정도인가?
• RQ5 적대적 훈련 또는 데이터 증강은 기하 변형에 대한 DNN 표현의 강건성에 어떤 영향을 미치는가?

주요 결과

• PointNet, PointNet++, DGCNN, PointConv를 포함한 대부분의 DNN은 이동이나 체적 민감도보다 회전 민감도가 현저히 높으며, 증강 없이도 PointNet++는 회전 민감도가 0.111 ± 0.053를 기록한다.
• 모서리와 가장자리는 가장 높은 회전 민감도를 보이며, 높은 기여도를 받고 회전 기반 공격에 취약하다.
• 회전 민감도가 높은 영역는 일반적으로 비정상적인 고차수 상호작용을 활성화하여, 훈련 데이터의 전반적인 구조에 과적합됨을 시사한다.
• 회전 기반 공격를 사용한 적대적 훈련은 DGCNN의 경우 회전 민감도를 0.036 ± 0.015로, GCNN의 경우 0.028 ± 0.016로 감소시켰으며, 이는 회전 데이터 증강(0.052 ± 0.021 및 0.048 ± 0.024)보다 뛰어난 성능을 보였다.
• 대부분의 DNN은 고차수 상호작용을 잘 인코딩하지 못하여, 정상 샘플에서 복잡한 전반적인 3D 구조를 모델링하는 데 한계가 있음을 시사한다.
• 3D 재구성 작업을 위한 오토인코더 역시 높은 회전 민감도(0.099 ± 0.043)를 보이며, 비지도 학습 모델 역시 기하 변형에 취약함을 나타낸다.