[논문 리뷰] Tangent Convolutions for Dense Prediction in 3D

Maxim Tatarchenko, Jaesik Park외 2명|arXiv (Cornell University)|2018. 07. 06.

3D Shape Modeling and Analysis참고 문헌 51인용 수 40

한 줄 요약

접선(convolution)을 도입하여 격자화 없이 3D 표면 데이터(포인트 클라우드)에서 밀도 세맨틱 세분화를 수행, 대형 실내외 장면에 대해 확장 가능한 심층 네트워크를 가능하게 하고 여러 베이스라인을 능가합니다.

ABSTRACT

We present an approach to semantic scene analysis using deep convolutional networks. Our approach is based on tangent convolutions - a new construction for convolutional networks on 3D data. In contrast to volumetric approaches, our method operates directly on surface geometry. Crucially, the construction is applicable to unstructured point clouds and other noisy real-world data. We show that tangent convolutions can be evaluated efficiently on large-scale point clouds with millions of points. Using tangent convolutions, we design a deep fully-convolutional network for semantic segmentation of 3D point clouds, and apply it to challenging real-world datasets of indoor and outdoor 3D environments. Experimental results show that the presented approach outperforms other recent deep network constructions in detailed analysis of large 3D scenes.

연구 동기 및 목표

• 부 volumetric 3D 데이터가 아닌 표면 기하학에서의 의미 인식 분석에 동기를 부여합니다.
• 비정형 포인트 클라우드 및 기타 노이즈가 많은 3D 데이터에 적합한 컨볼루션 연산자를 개발합니다.
• Dense per-point semantic segmentation을 위한 확장 가능한 딥 네트워크(U-Net 스타일) 설계합니다.
• 대형 실내 및 실외 실제 데이터셋에서 효율성과 확장성을 입증합니다.

제안 방법

• 각 포인트에서 국소 표면 이웃을 접선 평면에 투영해 2D 접선 이미지(tangent image)를 형성하는 방식으로 tangent convolution 정의.
• 국소 공분산 분석을 통해 접선 평면을 추정하고 가장 가까운 이웃 또는 가우시안 커널 혼합을 사용하여 3D 포인트에서 접선 이미지로 신호를 보간합니다.
• 사전계산 g(u) 매핑을 미리 계산하고 2D 접선 컨볼루션에 정확히 대응하는 1D 컨볼루션을 사용하여 tangent convolution을 효율적으로 구현합니다.
• 해시 기반 격자 다운샘플링으로 풀링/언풀링을 적용해 다양한 밀도 가진 대량 포인트 클라우드를 다루는 다중 스케일 분석으로 확장합니다.
• 현지 접선면까지의 거리(distance to tangent plane)를 명시적 특성으로 포함하고 다중 스케일 거리 특성을 연결(concatenate)합니다.
• Dense per-point 예측을 위한 skip 연결이 있는 완전 컨볼루션 U-Net 스타일 아키텍처를 채택합니다.

실험 결과

연구 질문

• RQ1 각 포인트 주변 접선 면에서 작동하는 tangent convolutions가 로컬 기하학적 구조를 효과적으로 포착하여 의미 세분화에 기여하는가?
• RQ2 대규모 현장의 수백만 포인트까지 확장하려면 tangent convolutions를 어떻게 효율적으로 구현할 수 있는가?
• RQ3 표면 기반 네트워크가 실내 실외 데이터셋에서 voxel- 혹은 그래프 기반 3D 딥 러닝 방법을 능가하는가?
• RQ4 입력 신호(접선면까지의 거리, 높이, 노멀, 색상)가 세분화 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 tangent-convolution 네트워크는 실내 및 실외 실제 데이터셋에서 강한 의미론적 세분화를 달성하며, 다수의 최신 3D 딥 러닝 베이스라인을 능가합니다.
• 최근접 이웃 접선 신호 보간은 더 복잡한 체계와 비슷한 성능을 제공하면서 구현이 더 간단합니다.
• 해시 기반 격자 다운샘플링으로 다중 스케일 풀링은 정확도를 손실 없이 대규모 장면에 대해 확장 가능한 처리를 제공합니다.
• 실험에서 기하학 기반 신호(접선면까지의 거리, 노멀)가 일반적으로 색상만 사용하는 것보다 실내 데이터셋에서 더 우수했고, Semantic3D와 같은 일부 실외 데이터셋에서는 색상이 도움이 될 수 있습니다.
• 이 방법은 Semantic3D, ScanNet, S3DIS에서 PointNet, OctNet, ScanNet 베이스라인과 비교하여 경쟁력 있거나 우수한 mIoU 및 mA 점수를 보여주며 논문에 명시된 효율적인 런타임 및 메모리 특성을 보유합니다.
• 이 방법은 tangent-plane 매핑의 사전 계산과 TensorFlow 기반 구현에 의해 대형 포인트 클라우드에서의 효율적인 엔드-투-엔드 학습 및 추론을 지원합니다.