[논문 리뷰] PointCloud Saliency Maps

Tianhang Zheng, Changyou Chen외 3명|arXiv (Cornell University)|2018. 11. 28.

Advanced Neural Network Applications참고 문헌 30인용 수 7

한 줄 요약

이 논문은 점군 중심으로 향하는 기울기를 기반으로 한 이동을 통해 점 제거를 근사화함으로써, 점군의 중요도 지도를 미분 가능하게 생성하는 방법을 제안한다. 이는 정확하고 효율적인 점 수준 및 부분집합 수준의 중요도 평가를 가능하게 하며, PointNet, PointNet++, 및 DGCNN 모델에서 임의의 점 제거나 핵심 부분집합 기반 점 제거보다 모델 정확도를 더 빠르게 떨어뜨리는 것으로 입증되어, 주목할 만한 점과 부분집합을 식별하는 데 있어 뛰어난 정밀도를 보인다.

ABSTRACT

3D point-cloud recognition with PointNet and its variants has received remarkable progress. A missing ingredient, however, is the ability to automatically evaluate point-wise importance w.r.t.\! classification performance, which is usually reflected by a saliency map. A saliency map is an important tool as it allows one to perform further processes on point-cloud data. In this paper, we propose a novel way of characterizing critical points and segments to build point-cloud saliency maps. Our method assigns each point a score reflecting its contribution to the model-recognition loss. The saliency map explicitly explains which points are the key for model recognition. Furthermore, aggregations of highly-scored points indicate important segments/subsets in a point-cloud. Our motivation for constructing a saliency map is by point dropping, which is a non-differentiable operator. To overcome this issue, we approximate point-dropping with a differentiable procedure of shifting points towards the cloud centroid. Consequently, each saliency score can be efficiently measured by the corresponding gradient of the loss w.r.t the point under the spherical coordinates. Extensive evaluations on several state-of-the-art point-cloud recognition models, including PointNet, PointNet++ and DGCNN, demonstrate the veracity and generality of our proposed saliency map. Code for experiments is released on \url{https://github.com/tianzheng4/PointCloud-Saliency-Maps}.

연구 동기 및 목표

• 3차원 점군 분류에서 점별 중요도를 자동으로 평가할 수 있는 방법의 부재를 해결하기 위해.
• 모델 예측 손실에 대한 각 점의 기여도를 정량화할 수 있는 일반화 가능한 중요도 지도를 개발하기 위해.
• 점 제거의 비미분 가능성 문제를 극복하기 위해, 연속적이고 미분 가능한 이동 절차로 이를 근사화하기 위해.
• 모델 성능을 떨어뜨리거나 향상시키는 반복적 점 제거 실험을 통해 중요도 지도의 정확도를 검증하기 위해.
• 여러 최신 기술 기반 모델들에서 임의의 점 제거 및 핵심 부분집합 기반 점 제거 전략에 비해 본 방법의 우월성을 입증하기 위해.

제안 방법

• 구면좌표계에서 점군 중심으로 점들을 연속적으로 이동시켜 비미분 가능한 점 제거를 근사화하기.
• 각 점의 위치에 대한 모델의 손실 함수에 대한 기울기로 중요도 점수를 계산하기.
• 점 이동에 대한 기울기 근사의 민감도를 제어하기 위해 스케일링 인자 α를 사용하기.
• 반복적 점 제거 알고리즘 적용: 중요도 점수 상위 또는 하위 점을 제거하여 중요도 지도의 정확도를 검증하기.
• 기울기 계산 중 기하학적 일관성을 확보하기 위해 각 점의 기여도를 구면좌표계로 표현하기.
• 높은 제거(고-드롭) 전략과 무작위 또는 핵심 부분집합 기반 제거 전략 간의 성능 저하를 비교하여 중요도 지도를 검증하기.

실험 결과

연구 질문

• RQ1 점 제거의 미분 가능 근사가 3차원 점군에서 점별 중요도를 효과적으로 추정할 수 있는가?
• RQ2 제안된 중요도 지도가 모델 예측에 크게 영향을 주는 핵심 점과 부분집합을 정확히 식별하는가?
• RQ3 중요도 지도 기반 점 제거 전략이 임의의 점 제거나 핵심 부분집합 기반 전략에 비해 모델 성능 저하 또는 향상에 어떻게 영향을 주는가?
• RQ4 중요도 지도가 PointNet, PointNet++, 및 DGCNN와 같은 다양한 3차원 점군 모델에 일반화 가능한가?
• RQ5 중요도 점수와 인간이 주목하는 점군의 구조적 특징 간에 상관관계가 있는가?

주요 결과

• 높은 중요도 점수를 가진 200/1024개의 점을 제거했을 때, PointNet의 3D-MNIST/ModelNet40 데이터셋에서 정확도는 각각 49.2%와 44.3%로 떨어졌으며, 이는 무작위 제거 전략(94.8% 및 87.7%)보다 뚜렷이 뛰어난 성능을 보였다.
• 핵심 부분집합 기반 전략은 동일한 데이터셋에서 PointNet의 정확도를 각각 80.0%와 58.1%로 떨어뜨렸으며, 이는 제안된 방법이 핵심 점을 더 정확히 식별함을 확인한다.
• PointNet++에서 1024개의 점을 제거했을 때 제안된 방법은 ModelNet40에서 정확도를 59.5%로 떨어뜨렸지만, 무작위 제거 전략은 88–90%를 유지했으며, 이는 일관된 성능 저하를 보여준다.
• DGCNN에서 1024개의 점을 제거했을 때 정확도는 64.2%로 떨어졌지만, 무작위 제거 전략은 89–91%를 유지했으며, 이는 중요도 지도가 더 관련 있는 구조적 정보를 포착하고 있음을 시사한다.
• 중요도 지도는 시각화 결과에서 램프의 기초와 같은 주목할 만한 부분집합을 성공적으로 식별했으며, 인간의 직관과 일치한다.
• 낮은 제거(로우-드롭) 전략은 중요도 점수가 가장 낮은 점들을 제거하여 노이즈 제거 효과를 띠며, 일부 경우에서 잘못된 분류를 수정하는 데 성공했으며, 이는 본 방법의 데이터 정제 활용 가능성을 확인한다.