[논문 리뷰] FoldingNet: Point Cloud Auto-encoder via Deep Grid Deformation

Yaoqing Yang, Chen Feng외 2명|arXiv (Cornell University)|2017. 12. 19.

3D Shape Modeling and Analysis참고 문헌 13인용 수 25

한 줄 요약

FoldingNet는 그래프 기반 인코더와 새로운 접기 기반 디코더를 사용하여 3D 포인트 클라우드의 비지도 표현 학습을 위한 엔드 투 엔드 딥 오토인코더를 제안한다. 이 디코더는 2D 격자를 3D 포인트 클라우드 표면으로 변형시켜, 완전히 연결된 디코더의 7%에 불과한 파라미터로도 ModelNet40에서 88.4%의 선형 SVM 분류 정확도를 달성하며, 국소 기하학적 구조를 유지하면서도 우수한 재구성 및 분류 능력을 보여준다.

ABSTRACT

Recent deep networks that directly handle points in a point set, e.g., PointNet, have been state-of-the-art for supervised learning tasks on point clouds such as classification and segmentation. In this work, a novel end-to-end deep auto-encoder is proposed to address unsupervised learning challenges on point clouds. On the encoder side, a graph-based enhancement is enforced to promote local structures on top of PointNet. Then, a novel folding-based decoder deforms a canonical 2D grid onto the underlying 3D object surface of a point cloud, achieving low reconstruction errors even for objects with delicate structures. The proposed decoder only uses about 7% parameters of a decoder with fully-connected neural networks, yet leads to a more discriminative representation that achieves higher linear SVM classification accuracy than the benchmark. In addition, the proposed decoder structure is shown, in theory, to be a generic architecture that is able to reconstruct an arbitrary point cloud from a 2D grid. Our code is available at http://www.merl.com/research/license#FoldingNet

연구 동기 및 목표

• 비정규적인 3D 포인트 클라우드에서의 비지도 표현 학습 문제를 해결하기 위해, 2D 이미지와는 달리 규칙적인 구조를 갖지 않는 포인트 클라우드에 적합한 방법을 개발한다.
• 보조 포인트 클라우드 오토인코더에서 바이트화 및 완전히 연결된 디코더의 한계를 극복하기 위해 기하학적 인식 디코딩 메커니즘을 도입한다.
• 지역 구조를 유지하면서도 고품질의 재구성과 분류 기능 학습을 가능하게 하는 파라미터 효율적인 디코더를 설계한다.
• 학습 가능한 접기 연산을 통해 2D 격자를 임의의 3D 포인트 클라우드 표면을 재구성하는 데 사용할 수 있는 일반적인 암묵적 구조로 활용할 수 있음을 입증한다.

제안 방법

• 인코더는 국소 이웃 구조를 유지하기 위해 그래프 기반 최대 풀링 아키텍처를 사용하여, 표준 PointNet을 초월한 특징 학습을 향상시킨다.
• 디코더는 학습된 코드워드와 격자 점 특징을 연결하고 3층 퍼셉트론을 적용하여, 정규 2D 격자를 3D 물체 표면으로 변형시키는 접기 기반 연산을 사용한다.
• 각 접기 연산은 학습 가능한, 미분 가능한 변환을 통해 2D 격자를 3D 표면으로 매핑하며, 복잡한 형태를 재구성하기 위해 이러한 연산을 두 번 순차적으로 적용한다.
• 접기 메커니즘은 3D 표면에 2D 다양체 구조를 암묵적으로 강제하여, 3D 바이트화나 점들의 임의의 1D 순서 정렬이 필요 없도록 한다.
• ModelNet40 데이터셋에서 400만 번의 반복 동안 Adam 옵timizer를 사용하여 학습률 0.0001로 엔드 투 엔드로 모델을 훈련시킨다.
• 잠재층에서 추출한 코드워드를 후행 작업인 선형 SVM 분류를 위한 임bedding으로 사용하여 표현 품질을 평가한다.

실험 결과

연구 질문

• RQ1 학습 가능한 접기 연산을 통해 2D 격자를 임의의 3D 포인트 클라우드 표면을 재구성하는 데 사용할 수 있는 일반적이고 파라미터 효율적인 구조로 활용할 수 있는가?
• RQ2 완전히 연결된 디코더와 비교해 복구 품질과 파라미터 효율성 측면에서 접기 기반 디코더는 어떠한가?
• RQ3 FoldingNet에서 학습된 코드워드가 후행 분류 작업에서 선형 가분성을 얼마나 잘 보장하는가?
• RQ4 글로벌 풀링 대비 그래프 기반 인코더가 포인트 클라우드의 점 위치 변형에 대해 더 강건한가?
• RQ5 소수의 레이블 데이터만 사용할 경우, 자동인코더가 비지도 표현 학습에서 얼마나 효과적인가?

주요 결과

• 접기 기반 디코더는 완전히 연결된 디코더보다 유의미하게 낮은 재구성 손실을 기록하며, 파라미터 수가 7%에 불과하다 (105만 대비 1,520만).
• FoldingNet 오토인코더에서 추출한 코드워드를 사용하여 ModelNet40에서 선형 SVM 분류 정확도가 88.4%에 도달했으며, 기준 성능을 초월한다.
• 레이블된 학습 데이터의 1% (98개 샘플)만 사용할 경우에도 선형 SVM의 테스트 정확도가 55% 이상을 기록하여, 학습된 코드워드의 강력한 선형 가분성을 입증한다.
• 학습 데이터의 20%만 사용할 경우 분류 정확도가 85%에 도달하여, 표 5에 나열된 대부분의 기존 방법을 뛰어넘는다.
• 보조 자료의 표 6에 따르면, 2D 격자 점이 균일한 랜덤 2D 점보다 재구성 성능에서 뛰어나다.
• 보조 자료의 10절에서 확인한 lin으로, 그래프 기반 인코더는 비그래프 기반 대안보다 무작위 점 위치 변형에 더 강건하다.