[논문 리뷰] VConv-DAE: Deep Volumetric Shape Learning Without Object Labels

Abhishek Sharma, Oliver Grau외 1명|arXiv (Cornell University)|2016. 04. 13.

3D Shape Modeling and Analysis참고 문헌 24인용 수 4

한 줄 요약

이 논문은 오염된, 완전하지 않은 3D 형상을 레이블 없이 비지도 학습 방식으로 깊이 있는 3D 형상 표현을 학습할 수 있는 완전 컨볼루션형 체적 오토인코더인 VConv-DAE를 제안한다. 손상된 입력에서 복셀 점유 격자를 재구성하도록 훈련함으로써, 노이즈 제거 및 형상 보완 작업에서 최신 기술 수준의 성능을 달성하며, ShapeNet과 같은 지도 학습 방법보다도 빠른 200배의 속도로 테스트 시간을 단축시킨다.

ABSTRACT

With the advent of affordable depth sensors, 3D capture becomes more and more ubiquitous and already has made its way into commercial products. Yet, capturing the geometry or complete shapes of everyday objects using scanning devices (e.g. Kinect) still comes with several challenges that result in noise or even incomplete shapes. Recent success in deep learning has shown how to learn complex shape distributions in a data-driven way from large scale 3D CAD Model collections and to utilize them for 3D processing on volumetric representations and thereby circumventing problems of topology and tessellation. Prior work has shown encouraging results on problems ranging from shape completion to recognition. We provide an analysis of such approaches and discover that training as well as the resulting representation are strongly and unnecessarily tied to the notion of object labels. Thus, we propose a full convolutional volumetric auto encoder that learns volumetric representation from noisy data by estimating the voxel occupancy grids. The proposed method outperforms prior work on challenging tasks like denoising and shape completion. We also show that the obtained deep embedding gives competitive performance when used for classification and promising results for shape interpolation.

연구 동기 및 목표

• 객체 수준의 애너테이션에 의존하지 않고, 원시적이고 노이즈가 많으며 완전하지 않은 3D 스캔에서 의미 있는 3D 형상 표현을 학습하는 것.
• 특히 높은 비용의 레이블링과 느린 추론이 요구되는 지도 학습 방법의 한계를 극복하는 것.
• 노이즈 제거 및 형상 보완과 같은 도전적인 3D 재구성 작업에 잘 일반화되는 완전 컨볼루션형, 엔드 투 엔드 학습 가능한 오토인코더를 개발하는 것.
• ShapeNet과 같은 이전 딥 러닝 모델이 계층별 사전 훈련과 샘플링 기반 추론이 필요로 하는 점을 감안해, 확장 가능하고 효율적이며 비지도 학습 기반의 대안을 제공하는 것.

제안 방법

• 이 방법은 오염되거나 완전하지 않은 3D 복셀 격자를 깨끗하고 완전한 재구성으로 매핑하는 완전 컨볼루션형 체적 오토인코더를 사용한다.
• 모델은 손상된 입력에서 원래의 복셀 점유 상태를 재구성하도록 비지도 방식으로 훈련되며, 랜덤하게 손상된 복셀이나 잘린 부분을 포함한 입력을 사용한다.
• 모델은 노이즈 제거 오토인코더 목적함수를 사용하며, 입력은 진짜 형상의 손상된 형태이고 출력은 예측된 깨끗한 형상이다.
• 아키텍처는 완전 컨볼루션형이므로 사전 훈련 없이 엔드 투 엔드 학습이 가능하며, 샘플링 기반 추론을 피함으로써 테스트 시간 효율성이 크게 향상된다.
• 학습된 잠재 코드는 분류, 보간, 형상 보완과 같은 후속 작업을 위한 깊이 있는 임베딩으로 활용된다.
• 모델은 객체 레이블, 부분 애너테이션, 대칭 제약 조건 없이 대규모 CAD 데이터셋에서 처음부터 훈련된다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션형 체적 오토인코더는 객체 수준의 감독 없이도 의미 있는 3D 형상 표현을 학습할 수 있는가?
• RQ2 복셀 재구성에 의한 비지도 학습 방식이, ShapeNet과 같은 지도 학습 접근 방식과 비교해 형상 보완 및 노이즈 제거 작업에서 성능적으로 어떻게 다를까?
• RQ3 학습된 잠재 공간은 형상 분류 및 보간과 같은 후속 작업을 지원할 수 있는가?
• RQ4 형상의 큰 부분이 손실된 경우인 절단 노이즈와 같은 도전적인 노이즈 패턴에도 모델이 일반화되는가?
• RQ5 기존 작업과 비교해 제안된 방법의 계산 효율성, 특히 테스트 시간에서의 성능은 어떠한가?

주요 결과

• VConv-DAE는 노이즈 제거 및 형상 보완 작업에서 모두 ShapeNet을 능가하며, 모든 객체 카테고리에서 평균 재구성 오차가 낮게 나타난다.
• 어려운 절단 노이즈 시나리오(30% 복셀 손실)에서 VConv-DAE는 평균 오차 12.75를 기록하여 ShapeNet의 14.85보다 유의미하게 낮아, 더 뛰어난 보완 능력을 보였다.
• 테스트 시간 추론 시간을 ShapeNet의 600ms에서 단 3ms로 단축시켜 200배 빠른 속도를 달성했으며, 이는 테스트 시 샘플링이 필요로 하지 않기 때문이다.
• 학습된 잠재 공간은 3D 형상 분류 작업에서 경쟁적인 성능을 보이며, 비지도 표현의 유용성을 입증한다.
• 정성적 결과에서는 VConv-DAE가 침대나 야간 테이블과 같은 복잡한 형상에서 더 적은 잡음과 함께 결손된 부분을 효과적으로 재구성함을 보였다.
• 모델은 랜덤 노이즈와 구조적 노이즈를 포함한 미사용된 노이즈 패턴에도 잘 일반화되며, 그 강건성과 일반화 능력을 입증했다.