[논문 리뷰] PointMask: Towards Interpretable and Bias-Resilient Point Cloud Processing

Saeid Asgari Taghanaki, Kaveh Hassani외 3명|arXiv (Cornell University)|2020. 07. 09.

3D Shape Modeling and Analysis참고 문헌 29인용 수 8

한 줄 요약

PointMask는 상관정보 최소화를 통해 불필요한 입력 포인트를 마스킹하는 방식으로 포인트 클라우드 분류 성능을 향상시키는 모델에 종속되지 않는 해석 가능한 정보-병결 레이어이다. 데이터 편향과 무작위 회전에 대한 모델의 강건성을 향상시키며, 회전된 ModelNet40에서 82.18%의 정확도를 기록하여 PointNet 및 기타 기준 모델을 초월한다. 또한 특징 기여도 분석과 분류 혼동 감소를 가능하게 한다.

ABSTRACT

Deep classifiers tend to associate a few discriminative input variables with their objective function, which in turn, may hurt their generalization capabilities. To address this, one can design systematic experiments and/or inspect the models via interpretability methods. In this paper, we investigate both of these strategies on deep models operating on point clouds. We propose PointMask, a model-agnostic interpretable information-bottleneck approach for attribution in point cloud models. PointMask encourages exploring the majority of variation factors in the input space while gradually converging to a general solution. More specifically, PointMask introduces a regularization term that minimizes the mutual information between the input and the latent features used to masks out irrelevant variables. We show that coupling a PointMask layer with an arbitrary model can discern the points in the input space which contribute the most to the prediction score, thereby leading to interpretability. Through designed bias experiments, we also show that thanks to its gradual masking feature, our proposed method is effective in handling data bias.

연구 동기 및 목표

• 분포 이탈 상황에서 특히 해석 가능성과 편향 저항성이 부족한 딥 포인트 클라우드 모델의 문제를 해결하기 위해.
• 백본 아키텍처를 변경하지 않고도 불필요한 입력 포인트를 식별하고 가중치를 낮추는 방법을 개발하기 위해.
• 모델이 몇 가지 특징만에 의존하는 대신 다양한 입력 특징에 의존하도록 유도하여 일반화 성능을 향상시키기 위해.
• 통제된 실험을 통해 데이터 편향과 무작위 회전에 대한 강건성을 평가하기 위해.
• 마스킹 기반 정규화가 일반화 성능 향상에 드롭아웃보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• PointMask는 변분 추론 기반 정규화를 통해 예측에 기여도가 낮은 포인트를 자동으로 억제하는 가역적 마스킹 레이어를 도입한다.
• 마스킹 값에 대한 가우시안 사후분포에서 샘플링하기 위해 재생성 기법을 사용하여 마스킹 연산을 통해 역전파가 가능하게 한다.
• KL 발산 항을 사용해 입력 포인트와 잠재 특징 간의 상관정보를 최소화함으로써 다양한 입력 변형 탐색을 촉진한다.
• 입력 포인트 클라우드와 학습된 이진 유사 마스크 간의 원소별 곱셈을 통해 마스크를 적용함으로써 불필요한 포인트를 효과적으로 제거한다.
• PointMap은 마스킹 대신 포인트를 새로운 공간으로 매핑하는 변종으로, 표현 학습에서 대체적인 인덕티브 바이어스를 가능하게 한다.
• 이 프레임워크는 모델에 종속되지 않으며, PointNet과 같은 어떤 포인트 클라우드 분류기와도 아키텍처 변경 없이 통합 가능하다.

실험 결과

연구 질문

• RQ1 학습 가능한 마스킹 메커니즘이 가장 영향력 있는 입력 포인트를 식별함으로써 포인트 클라우드 모델의 해석 가능성 향상에 기여할 수 있는가?
• RQ2 제안된 정보-병결 정규화가 훈련 데이터의 편향되거나 유사한 특징에 대한 의존도를 줄이는가?
• RQ3 무작위 회전과 같은 분포 이탈 상황에서, PointMask는 표준 정규화 기법인 드롭아웃보다 성능이 뛰어나게 작용하는가?
• RQ4 포인트 클라우드의 회전 조건 하에서 마스킹 메커니즘이 외관상 유사한 물체 클래스 간 혼동을 얼마나 줄이는가?
• RQ5 모델은 데이터 편향과 입력 노이즈에 더 강건해지면서도 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• PointMask는 무작위로 회전된 객체에서 ModelNet40에서 82.18%의 정확도를 기록했으며, PointNet(76.87%) 및 기타 기준 모델을 모두 초월했다.
• 유사한 클래스 간 혼동이 감소했다: 화분과 식물 간 혼동은 PointMask에서 0.0%에서 25.0%로 감소했고, 컵과 냄비 간 혼동은 35.0%에서 30.0%로 감소했다.
• 드롭아웃 레이어를 제거함으로써 PointNet의 정확도는 76.87%에서 81.13%로 향상되었지만, PointMask는 동일한 테스트에서 여전히 82.18%의 정확도를 기록했다.
• PointMask의 정규화 효과는 드롭아웃보다 더 효과적이었으며, 이는 회전 및 편향 조건 하에서도 일관된 성능 향상을 보여주었다.
• PointNet의 입력 변환 모듈은 PointMask 처리된 입력을 사용할 경우 다른 회전 출력을 생성했으며, 이는 인덕티브 바이어스가 변화하고 특징 다양성이 향상됨을 시사한다.
• 시각화 결과는 PointMask가 예측력이 높은 포인트를 효과적으로 강조함으로써 모델의 특정 기하학적 특징에 대한 의존도를 드러내며, 모델의 해석 가능성을 향상시킨다는 것을 보여주었다.