[논문 리뷰] 3DTI-Net: Learn Inner Transform Invariant 3D Geometry Features using Dynamic GCN

Guanghua Pan, Jun Wang외 2명|arXiv (Cornell University)|2018. 12. 15.

3D Shape Modeling and Analysis참고 문헌 13인용 수 13

한 줄 요약

3DTI-Net는 동적 그래프를 통해 국소적 점 상관관계를 모델링함으로써 강성 변환에 대해 불변인 내부 3D 기하 특징을 학습하는 그래프 컨volution 신경망(GCN)-기반 딥러닝 프레임워크이다. 데이터 증강이나 복잡한 사전처리 없이도 기울인 3D 객체 분류에서 최고 성능을 기록하고, 분할 작업에서도 경쟁력 있는 결과를 내며, 공간적으로 국소화된 그래프 필터를 활용해 계산 효율성과 노이즈 및 낮은 점 밀도에 대한 저항력을 확보한다.

ABSTRACT

Deep learning on point clouds has made a lot of progress recently. Many point cloud dedicated deep learning frameworks, such as PointNet and PointNet++, have shown advantages in accuracy and speed comparing to those using traditional 3D convolution algorithms. However, nearly all of these methods face a challenge, since the coordinates of the point cloud are decided by the coordinate system, they cannot handle the problem of 3D transform invariance properly. In this paper, we propose a general framework for point cloud learning. We achieve transform invariance by learning inner 3D geometry feature based on local graph representation, and propose a feature extraction network based on graph convolution network. Through experiments on classification and segmentation tasks, our method achieves state-of-the-art performance in rotated 3D object classification, and achieve competitive performance with the state-of-the-art in classification and segmentation tasks with fixed coordinate value.

연구 동기 및 목표

• 3D 포인트 클라우드 딥러닝에서 강성 변환, 특히 회전 불변성에 대한 도전 과제를 해결하기 위해, 다양한 방향에서의 일반화를 제한하는 요소를 극복하고자 한다.
• 절대 좌표에 의존하지 않고 점 간 상관관계에서 내재된 3D 기하 특징을 학습함으로써 좌표계 변화에 대한 저항력을 향상시키고자 한다.
• 사전 처리, 사전 학습 또는 데이터 증강 없이 원시 포인트 클라우드를 직접 소비하는 일반 목적의 엔드 투 엔드 딥러닝 프레임워크를 개발하고자 한다.
• 노이즈가 많고 점 밀도가 낮으며 기울인 포인트 클라우드 조건에서도 분류 및 분할 작업에서 높은 효율성과 저항력을 확보하고자 한다.

제안 방법

• 지역 K-가장 가까운 이웃을 사용하여 공간적 관계와 국소 기하를 인코딩하는 포인트 클라우드의 그래프 기반 표현을 제안한다.
• 학습된 특징 공간 거리 기반으로 이웃 관계를 재계산하는 동적 그래프 업데이트 전략을 도입하여 다중 해상도 특징 학습을 가능하게 한다.
• 수신장이 점점 증가하는 다단계 GCN 아키텍처를 구현: 처음에는 K=200 이웃을 사용하고, 이후 K=1000으로 증가시키며, 마지막으로 전체 연결 그래프를 사용해 전역 통합을 수행한다.
• 절대 위치가 아닌 상대적 점 관계에 중점을 두어 기하 불변성을 유지하는 변환 불변 특징 풀링 메커니즘을 설계한다.
• K-호프 이웃에서 특징을 집계하는 공간적으로 국소화된 필터를 갖춘 학습 가능한 그래프 컨볼루션 레이어를 사용하여 국소 불변성과 공간 일관성을 확보한다.
• 바이너리화나 다중 시점 렌더링 없이 원시 포인트 클라우드(좌표 및 법선을 입력으로)에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 데이터 증강에 의존하지 않고도 딥러닝 모델이 강성 변환, 특히 회전에 대해 불변인 3D 기하 특징을 학습할 수 있는가?
• RQ2 그래프 컨볼루션 신경망을 통해 점 간의 내재된 기하 관계를 효과적으로 모델링하고 학습시킬 수 있는가?
• RQ3 학습된 특징에 기반해 이웃 구조를 적응적으로 조정하는 동적 그래프 업데이트 전략이 특징 표현을 향상시킬 수 있는가?
• RQ4 공간적으로 국소화된 필터를 갖춘 GCN 기반 아키텍처가 포인트와 전역 풀링 방법에 비해 3D 포인트 클라우드 작업에서 더 높은 성능과 저항력을 달성할 수 있는가?
• RQ5 원시 포인트 클라우드에서 훈련된 모델이 낮은 계산 비용과 파라미터 수를 유지하면서도 분류 및 분할 작업에서 최고 성능을 달성할 수 있는가?

주요 결과

• 3DTI-Net는 표준 평가(회전 없음) 조건에서 ModelNet40에서 전체 정확도 91.7%를 기록하며, PointNet과 PointNet++을 능가하면서도 더 적은 파라미터와 더 짧은 추론 시간을 사용한다.
• 모델은 256개의 점으로도 88.3%의 정확도를 유지하여 PointNet에 비해 낮은 점 밀도에 대한 뛰어난 저항성을 입증한다.
• ShapeNet 분할 작업에서 3DTI-Net은 84.9%의 mIoU를 기록하며, PointNet, PointNet++, DGCNN와 동등하거나 이를 초월하며 파라미터 효율성 면에서 뛰어난 성능을 보인다.
• 모델은 가우시안 노이즈에 대해 강력한 저항성을 보이며, σ=0.1 수준의 노이즈에서도 높은 정확도를 유지하여 실세계의 노이즈 데이터에 안정성을 입증한다.
• SO(3) 불변 평가(기울인 테스트) 조건에서 3DTI-Net은 일관된 성능을 유지하는 반면, 다른 방법들은 급격한 성능 저하를 보이며, 그 본질적 회전 불변성을 입증한다.
• 동적 그래프 업데이트 전략은 특징 표현을 크게 향상시켜 다중 해상도 학습을 가능하게 하고, 복잡한 국소 기하 구조에서의 성능 향상을 이룬다.