[논문 리뷰] FoldingNet: Interpretable Unsupervised Learning on 3D Point Clouds

Yaoqing Yang, Chen Feng외 2명|arXiv (Cornell University)|2017. 12. 19.

3D Shape Modeling and Analysis참고 문헌 7인용 수 55

한 줄 요약

이 논문은 그래프 기반 PointNet 인코더와 새로운 접기 기반 디코더를 사용하는 비지도 3차원 포인트 클라우드 학습을 위한 엔드 투 엔드 딥 오토인코더인 FoldingNet을 제안한다. 접기 디코더는 2차원 격자에서 포인트 클라우드를 복원하며, 완전 연결 디코더 대비 약 7%의 파라미터만을 사용하여 더 높은 선형 SVM 분류 정확도를 달성하고, 구조를 유지하는 해석 가능한 재구성 과정을 제공한다.

ABSTRACT

Recent deep networks that directly handle points in a point set, e.g., PointNet, have been state-of-the-art for supervised semantic learning tasks on point clouds such as classification and segmentation. In this work, a novel end-to-end deep auto-encoder is proposed to address unsupervised learning challenges on point clouds. On the encoder side, a graph-based enhancement is enforced to promote local structures on top of PointNet. Then, a novel folding-based approach is proposed in the decoder, which folds a 2D grid onto the underlying 3D object surface of a point cloud. The proposed decoder only uses about 7\% parameters of a decoder with fully-connected neural networks, yet leads to a more discriminative representation that achieves higher linear SVM classification accuracy than the benchmark. In addition, the proposed decoder structure is shown, in theory, to be a generic architecture that is able to reconstruct an arbitrary point cloud from a 2D grid. Finally, this folding-based decoder is interpretable since the reconstruction could be viewed as a fine granular warping from the 2D grid to the point cloud surface.

연구 동기 및 목표

• 라벨이 부족한 비지도 3차원 포인트 클라우드 표현 학습 문제를 해결하기 위해.
• 감독 신호에 의존하지 않고 오토인코딩 과정에서 특징의 분류 가능성을 향상시키기 위해.
• 기하학적 구조를 재구성하는 동안 손실이 적은 강력한 디코더를 설계하기 위해.
• 2차원 격자에서의 미세한 왜곡으로 간주할 수 있는 재구성 과정을 통해 3차원 재구성을 해석 가능하게 만들기 위해.

제안 방법

• 입력 포인트 클라우드의 국소 기하 구조를 더 잘 포착하기 위해 PointNet 위에 그래프 기반 개선 기법을 적용한 인코더를 사용한다.
• 잠재 표현으로 2차원 격자를 사용하며, 이를 학습 가능한 함수를 통해 포인트 클라우드의 3차원 좌표를 예측하도록 변환한다.
• 접기 연산은 각 2차원 격자 점을 미분 가능하고 파라미터 효율적인 함수를 통해 3차원 좌표로 매핑하며, 국소 변형을 학습한다.
• 디코더는 재구성 손실을 최소화하도록 엔드 투 엔드로 훈련되어 원본 포인트 클라우드를 재구성한다.
• 접기 메커니즘은 이론적으로 2차원 격자에서 임의의 포인트 클라우드를 재구성할 수 있는 일반적인 아키텍처임을 입증한다.
• 재구성 과정을 2차원 격자를 3차원 표면에 왜곡하는 것으로 간주함으로써 생성 과정을 해석 가능하게 한다.

실험 결과

연구 질문

• RQ1 2차원 격자는 3차원 포인트 클라우드 재구성에 대해 압축적이고 효과적인 잠재 표현으로 사용될 수 있는가?
• RQ2 포인트 클라우드의 국소 기하 구조는 비지도 오토인코딩 과정에서 어떻게 더 잘 유지될 수 있는가?
• RQ3 접기 기반 디코더는 완전 연결 디코더보다 훨씬 적은 파라미터로도 뛰어난 분류 표현을 달성할 수 있는가?
• RQ4 접기 메커니즘은 해석 가능할 수 있으며, 재구성을 2차원에서 3차원으로의 왜곡 과정으로 간주할 수 있는가?
• RQ5 제안된 오토인코더는 기존의 비지도 기준 대비 더 나은 후속 작업 선형 분류 성능을 보일 수 있는가?

주요 결과

• 접기 기반 디코더는 완전 연결 디코더 대비 약 7%의 파라미터만을 사용하면서도 더 높은 선형 SVM 분류 정확도를 달성한다.
• 제안된 모델은 기준 방법 대비 비지도 포인트 클라우드 학습을 위한 더 나은 분류 표현을 달성한다.
• 이론적 분석을 통해 접기 디코더가 임의의 포인트 클라우드를 2차원 격자에서 재구성할 수 있는 일반적인 아키텍처임을 확인한다.
• 재구성 과정은 2차원 격자를 3차원 표면에 미세한 왜곡하는 것으로 볼 수 있어 해석 가능하다.
• 그래프 기반 인코더 개선은 국소 구조 학습을 향상시켜 더 나은 전체 재구성 및 표현 품질에 기여한다.