[논문 리뷰] 3D Point Cloud Classification and Segmentation using 3D Modified Fisher Vector Representation for Convolutional Neural Networks

Yizhak Ben-Shabat, Michael Lindenbaum외 1명|arXiv (Cornell University)|2017. 11. 22.

3D Shape Modeling and Analysis참고 문헌 24인용 수 49

한 줄 요약

이 논문은 3DmFV-Net라는 새로운 CNN 아키텍처를 통해 3D 격자 구조와 연속적인 피셔 벡터 성분을 결합한 하이브리드 포인트 클라우드 표현인 3D 수정 피셔 벡터(3DmFV)를 제안한다. 이는 효율적이고 정확한 3D 포인트 클라우드 분류 및 파트 분할을 가능하게 한다. 제안된 방법은 벤치마크 데이터셋에서 경쟁적인 정확도와 노이즈 및 데이터 손상에 대한 강건성을 보이며, 종료-투-종료 학습이 반드시 필요하지 않은 비학습 특징이 강력한 성능을 낼 수 있음을 입증한다.

ABSTRACT

The point cloud is gaining prominence as a method for representing 3D shapes, but its irregular format poses a challenge for deep learning methods. The common solution of transforming the data into a 3D voxel grid introduces its own challenges, mainly large memory size. In this paper we propose a novel 3D point cloud representation called 3D Modified Fisher Vectors (3DmFV). Our representation is hybrid as it combines the discrete structure of a grid with continuous generalization of Fisher vectors, in a compact and computationally efficient way. Using the grid enables us to design a new CNN architecture for point cloud classification and part segmentation. In a series of experiments we demonstrate competitive performance or even better than state-of-the-art on challenging benchmark datasets.

연구 동기 및 목표

• 비정렬된, 순서가 없는 3D 포인트 클라우드에 컨volutional 신경망(CNN)을 적용하는 데 도전하는 문제를 해결하기 위해.
• 세부 정보를 유지하면서도 CNN 처리가 가능하도록, 컴act하고 계산 효율적이며 순서 불변인 표현을 개발하기 위해.
• 포인트 클라우드 분류 및 파트 분할을 위해 3DmFV 표현에 특화된 새로운 3D CNN 아키텍처(3DmFV-Net)를 설계하기 위해.
• 일반적인 실세계 데이터 손상, 예를 들어 포인트 삭제, 이방성, 노이즈, 그리고 회전에 대한 방법의 강건성을 평가하기 위해.
• 종료-투-종료 학습이 반드시 필요하지 않은 비학습 특징, 즉 수작업으로 만든 특징이 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 3DmFV 표현은 포인트 클라우드 데이터를 군집 중심에서의 편차로 인코딩하기 위해 3D 격자 위에 균일한 가우시안을 중심으로 하는 가우시안 혼합 모델(GMM)을 사용한다.
• 평균 기반 통계를 점집합의 임의의 함수로 대체함으로써 피셔 벡터를 일반화하여 더 풍부하고 의미 있는 특징 성분을 가능하게 한다.
• 격자 구조는 공간적 조직을 제공하면서도 연속적이고 미분 가능한 표현을 유지하여 CNN의 효과적 적용을 가능하게 한다.
• 3DmFV 입력을 위해 특별히 설계된 새로운 3DmFV-Net 아키텍처를 사용하여 포인트 클라우드 분류 및 파트 분할을 수행한다.
• 특징 자체는 비지도 학습이며 비학습 특징이지만, 3DmFV 특징을 종료-투-종료로 학습한다.
• 강건성 평가를 위해 다양한 손상 조건에서 학습 및 테스트를 수행한다: 포인트 삭제, 이방성, 펄럭임 노이즈, 무작위 회전.

실험 결과

연구 질문

• RQ1 이산적 격자 구조와 연속적 피셔 벡터 성분을 조합한 하이브리드 표현이 CNN을 사용한 효과적인 3D 포인트 클라우드 분류를 가능하게 할 수 있는가?
• RQ2 비학습, 비지도 특징 표현(3DmFV)을 사용해도 3D 포인트 클라우드 분석에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 실세계 데이터 손상, 예를 들어 포인트 누락, 노이즈, 회전 등의 조건에서 3DmFV-Net의 성능은 어떠한가?
• RQ4 3DmFV 표현은 파트 분할에 효과적으로 확장될 수 있으며, 불균형 데이터셋에서도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 모든 구성 요소에 대한 종료-투-종료 학습이 높은 성능을 내기 위해 반드시 필요한가, 아니면 수작업 특징만으로도 충분한가?

주요 결과

• 3DmFV-Net은 ModelNet10 및 ModelNet40 벤치마크에서 각각 84.3% 및 82.0%의 평균 클래스 정확도로 최신 기술 수준의 분류 정확도를 달성한다.
• ShapeNet 파트 분할 데이터셋에서 평균 교차율(IoU)은 94.0%를 기록하여 모든 다른 방법보다 총 평균 IoU에서 승리한다.
• 파트 분할에서 16개 카테고리 중 9개에서 최고 성능을 기록하며, 다른 방법이 최대 4개 카테고리에서 승리하는 것과 대비된다.
• 펄럭임 노이즈와 균일한 포인트 삭제 조건에서 높은 강건성을 보이며, 이러한 조건에서도 정확도 저하가 최소한이다.
• 격자 해상도와 입력 포인트 수가 증가함에 따라 성능가 포화 상태에 도달하며, 특정 임계값을 초과하면 수익 감소가 나타난다.
• 표준편차 선택에 대해 민감하지 않으며, 너무 작지 않은 한 빈 피셔 벡터 표현을 피할 수 있다.