[논문 리뷰] 3D Shape Segmentation with Projective Convolutional Networks

Evangelos Kalogerakis, Melinos Averkiou외 2명|arXiv (Cornell University)|2016. 12. 08.

Industrial Vision Systems and Defect Detection인용 수 10

한 줄 요약

이 논문은 3차원 형상의 파트 분할을 위해 다중 시점 완전 컬러넷(FCNs)과 표면 기반 조건부 랜덤 필드(CRFs)를 결합한 딥러닝 프레임워크인 ShapePFCN을 제안한다. 기하학적으로 일관된 투영층을 통해 시점 기반 예측을 3차원 표면에 투영하고, CRF를 통해 보정함으로써, 이전 방법에 비해 평균 레이블링 정확도를 약 8% 향상시켜 ShapeNet 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

This paper introduces a deep architecture for segmenting 3D objects into their labeled semantic parts. Our architecture combines image-based Fully Convolutional Networks (FCNs) and surface-based Conditional Random Fields (CRFs) to yield coherent segmentations of 3D shapes. The image-based FCNs are used for efficient view-based reasoning about 3D object parts. Through a special projection layer, FCN outputs are effectively aggregated across multiple views and scales, then are projected onto the 3D object surfaces. Finally, a surface-based CRF combines the projected outputs with geometric consistency cues to yield coherent segmentations. The whole architecture (multi-view FCNs and CRF) is trained end-to-end. Our approach significantly outperforms the existing state-of-the-art methods in the currently largest segmentation benchmark (ShapeNet). Finally, we demonstrate promising segmentation results on noisy 3D shapes acquired from consumer-grade depth cameras.

연구 동기 및 목표

• 수동으로 조정된 기하학적 기술자나 히ュ리스틱에 의존하지 않고 의미론적 3차원 형상 파트 분할 문제를 해결한다.
• 노이즈, 구멍, 또는 복잡한 토폴로지가 있는 형상들에 대해서도 강건하고 일관된 분할을 가능하게 한다.
• 시점 기반 추론을 향상시키기 위해 사전 훈련된 이미지 네트워크를 활용하여 일반화 능력과 파트 탐지 능력을 향상시킨다.
• 다중 시점 CNN과 표면 CRF를 통합한 일관된 레이블링을 위한 종단간(end-to-end) 훈련이 가능한 통합 아키텍처를 구현한다.
• 소비자용 깊이 센서에서 촬영한 실세계의 노이즈 있는 스캔과 청소형 CAD 모델 양쪽 모두에서 뛰어난 성능을 입증한다.

제안 방법

• 3차원 형상의 표면을 최대한 커버할 수 있도록 자동으로 선택된 시점들에서 다수의 깊이 이미지 및 음영 이미지를 렌더링한다.
• 각 시점을 공유된 사전 훈련된 완전 컬러넷(FCNs)을 사용해 처리하여 각 파트에 대한 신뢰도 맵을 생성한다.
• 공간 일관성을 유지하는 기하학적 인식 투영층을 사용해 FCN 출력을 3차원 표면에 투영한다.
• 다양한 척도와 시점 간의 예측을 학습된 융합 메커니즘을 통해 통합한다.
• 전체 메esh에 걸쳐 기하학적 일관성과 부드러운 레이블링을 보장하기 위해 표면 기반 조건부 랜덤 필드(CRF)를 적용한다.
• Annotation이 된 3차원 형상 데이터셋을 기반으로 감독 학습을 통해 전체 아키텍처—CRF 포함—을 종단간으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 이미지 기반 딥러닝 네트워크가 다중 시점 추론을 통해 3차원 형상 파트 분할에 효과적으로 재사용될 수 있는가?
• RQ2 다중 시점 예측은 어떻게 기하학적으로 투영되고 융합되어 일관된 3차원 표면 분할을 생성할 수 있는가?
• RQ3 학습된 표면 CRF는 단순히 시점 기반 예측에 비해 분할의 일관성과 강건성을 향상시킬 수 있는가?
• RQ4 제안된 방법은 ShapeNet과 같은 대규모 3차원 분할 벤치마크에서 최신 기술 수준의 접근법을 초월하는가?
• RQ5 이 방법은 소비자용 깊이 센서에서 촬영한 노이즈가 많은 실세계 3차원 스캔에 대해 얼마나 잘 일반화되는가?

주요 결과

• ShapePFCN은 ShapeNetCore 벤치마크에서 평균 레이블링 정확도 92.2%를 달성하여 이전 최신 기술 수준 대비 약 8% 향상된 성능을 기록한다.
• PSB 및 COSEG 데이터셋에서, 모든 카테고리 평균 정확도는 92.6%를 기록하여 ShapeBoost(90.6%)와 Guo 등(86.3%)을 압도적으로 앞서간다.
• 이 방법은 노이즈와 메쉬의 열악한 형상에 대해 강건성을 보이며, 전통적 방법이 실패하는 실세계 RGB-D 스캔에서도 고품질의 분할 결과를 생성한다.
• 특히, COSEG_TeleAliens 카테고리에서는 95.7%의 정확도를 기록했고, PSB_Chair에서는 98.5%의 정확도를 달성하여 이전 방법들에 비해 뚜렷한 성능 향상을 보였다.
• 표면 CRF 구성 요소는 특히 가림되거나 모호한 영역에서 레이블링의 일관성을 크게 향상시키며, 정량적·정성적 결과로 이를 입증한다.
• CRF를 포함한 전체 아키텍처의 종단간 훈련은 단계별 파ipeline에 비해 더 나은 일반화 능력과 더 일관된 예측을 이끌어낸다.