[논문 리뷰] Learning Geometry-Disentangled Representation for Complementary Understanding of 3D Object Point Cloud

Mutian Xu, Junhao Zhang외 4명|arXiv (Cornell University)|2020. 12. 20.

3D Shape Modeling and Analysis참고 문헌 38인용 수 14

한 줄 요약

이 논문은 기하학적 분리 모듈을 사용하여 3D 포인트 클라우드를 날카운(윤곽) 및 부드러운(평평한) 변화 성분으로 동적으로 분리하는 기하학적 분리 표현 프레임워크인 GDANet을 제안한다. 이후 이 전체적이고 상보적인 기하 특징을 원본 포인트 특징과 융합하기 위해 날카운-부드러운 상보적 주의 모듈을 적용하여, 3D 분류 및 분할 작업에서 기존 모델 대비 84.9% 적은 파라미터(84.9%)로 최신 기준 성능을 달성한다.

ABSTRACT

In 2D image processing, some attempts decompose images into high and low frequency components for describing edge and smooth parts respectively. Similarly, the contour and flat area of 3D objects, such as the boundary and seat area of a chair, describe different but also complementary geometries. However, such investigation is lost in previous deep networks that understand point clouds by directly treating all points or local patches equally. To solve this problem, we propose Geometry-Disentangled Attention Network (GDANet). GDANet introduces Geometry-Disentangle Module to dynamically disentangle point clouds into the contour and flat part of 3D objects, respectively denoted by sharp and gentle variation components. Then GDANet exploits Sharp-Gentle Complementary Attention Module that regards the features from sharp and gentle variation components as two holistic representations, and pays different attentions to them while fusing them respectively with original point cloud features. In this way, our method captures and refines the holistic and complementary 3D geometric semantics from two distinct disentangled components to supplement the local information. Extensive experiments on 3D object classification and segmentation benchmarks demonstrate that GDANet achieves the state-of-the-arts with fewer parameters. Code is released on https://github.com/mutianxu/GDANet.

연구 동기 및 목표

• 기존 딥 네트워크가 모든 포인트 또는 국소 패치를 동일하게 취급하여 3D 객체에서 윤곽과 평평한 표면의 상보적 기하 기능을 간과하는 한계를 해결하기 위해.
• 3D 포인트 클라우드를 날카운(윤곽) 및 부드러운(평평한 영역)으로 구분하여 재중복을 줄이고 의미 표현을 향상시키기 위해.
• 이 분리된 성분들로부터 상보적인 기하 의미를 포착하고 융합할 수 있는 메커니즘을 개발하여 국소 및 전반적 특징 학습을 향상시키기 위해.
• 모델 복잡도를 감소시키고 노이즈, 회전, 다양한 포인트 밀도에 대해 강건한 성능을 달성하기 위해.

제안 방법

• 기하 주파수 특성에 기반해 포인트 클라우드를 날카운 및 부드러운 변화 성분으로 동적으로 분해하는 그래프 신호 처리 기반 기하학적 분리 모듈(GDM)을 도입한다.
• 다중 수준에서의 의미 특징에서 계산된 동적 인접 행렬을 적용하여 윤곽 및 평평한 영역의 맥락 인식 기반 분리 기능을 실현한다.
• 원본 포인트 특징과 분리된 성분의 특징 간 주의 가중치를 계산하기 위해 날카운-부드러운 상보적 주의 모듈(SGCAM)을 활용하여 선택적 융합을 가능하게 한다.
• 노이즈 및 밀도 변화에 대한 강건성을 향상시키기 위해 대표 포인트 선택을 위해 최대 거리 선택(FPS) 및 무작위 샘플링 전략을 사용한다.
• 학습 중에 분리 모듈과 주의 모듈을 함께 최적화하여 다양한 의미 수준에서 기하학적 구조를 적응적으로 학습한다.
• 전통적인 KNN 기반 국소 집합을 대체로 전반적이고 성분 인식 기반 특징 융합을 사용하여 국소 이웃 정보에 전반적 기하 맥락을 보완한다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드를 날카운(윤곽) 및 부드러운(평평한) 변화 성분으로 동적으로 분리하면 기하 표현 학습이 향상되는가?
• RQ2 상보적 주의 메커니즘을 사용해 분리된 성분의 특징을 융합할 경우, 기존의 표준 국소 집합과 비교해 3D 포인트 클라우드 이해가 어떻게 향상되는가?
• RQ3 기존 모델과 비교해 제안된 방법이 포인트 밀도 변화, 회전, 노이즈에 대해 어느 정도 향상된 강건성을 보이는가?
• RQ4 사전 계산된 인접 행렬 없이도 분리된 기하 표현을 학습할 수 있으며, 동적 학습이 성능 향상에 기여하는가?
• RQ5 정확도와 효율성을 균형 잡기 위해 분리된 성분에 대해 최적의 포인트 수는 얼마인가?

주요 결과

• GDANet는 ModelNet40 분류에서 93.8%의 정확도를 달성하여 KPConv 대비 84.9% 적은 파라미터로 이전 최신 기준 성능을 초월한다.
• 회전 증강 설정(s/s)에서 두 번째로 좋은 방법 대비 정확도 저하를 2.7% 감소시켜 뛰어난 회전 강건성을 입증한다.
• 노이즈가 있는 ScanObjectNN 벤치마크에서 OBJ_ONLY에서 OBJ_BG로의 정확도 저하가 가장 낮아, 노이즈 강건성을 확인한다.
• GDM에서 동적 인접 행렬 계산은 사전 계산된 버전 대비 정확도를 0.8% 향상시켜 엔드 투 엔드 최적화의 이점을 보여준다.
• GDM에서 입력 포인트의 25%(1024개 중 256개)를 선택할 경우 최고의 성능를 기록하여 정보와 재중복 사이의 최적 균형을 이룬다.
• 모든 포인트 밀도 수준에서 일관된 성능 유지를 보이며 샘플링 변화에 대한 강력한 강건성을 입증한다.