[논문 리뷰] Transformable Bottleneck Networks

Kyle Olszewski, Sergey Tulyakov외 3명|arXiv (Cornell University)|2019. 04. 13.

Advanced Vision and Imaging참고 문헌 46인용 수 8

한 줄 요약

이 논문은 인코더-버팀목-디코더 아키텍처에서 3D 체적 버팀목에 직접 공간 변환을 적용하는 새로운 CNN 아키텍처인 변형 가능한 버팀목 네트워크(TBNs)를 소개한다. 다중 시점 감독을 활용함으로써 TBNs는 특징을 공간적으로 분리시키는 방식으로 학습하며, 강체 학습 변환을 초월해 비균일 스케일링 및 비강체 왜곡과 같은 임의의 3D 조작을 가능하게 한다. 이로 인해 최신 기술 수준의 새로운 시점 합성 성능를 달성하고 단일 이미지에서 고해상도 3D 복원을 가능하게 한다.

ABSTRACT

We propose a novel approach to performing fine-grained 3D manipulation of image content via a convolutional neural network, which we call the Transformable Bottleneck Network (TBN). It applies given spatial transformations directly to a volumetric bottleneck within our encoder-bottleneck-decoder architecture. Multi-view supervision encourages the network to learn to spatially disentangle the feature space within the bottleneck. The resulting spatial structure can be manipulated with arbitrary spatial transformations. We demonstrate the efficacy of TBNs for novel view synthesis, achieving state-of-the-art results on a challenging benchmark. We demonstrate that the bottlenecks produced by networks trained for this task contain meaningful spatial structure that allows us to intuitively perform a variety of image manipulations in 3D, well beyond the rigid transformations seen during training. These manipulations include non-uniform scaling, non-rigid warping, and combining content from different images. Finally, we extract explicit 3D structure from the bottleneck, performing impressive 3D reconstruction from a single input image.

연구 동기 및 목표

• 딥 러닝을 활용해 이미지 콘텐츠의 세밀하고 제어 가능한 3D 조작을 가능하게 하기 위해.
• 명시적인 3D 감독 없이 다중 시점 감독을 통해 공간적으로 분리된 3D 특징 표현을 학습하기 위해.
• 오직 2D 이미지 입력만을 사용하여 최신 기술 수준의 성능을 달성하기 위해.
• 학습된 버팀목 특징를 활용해 단일 이미지에서 의미 있는 3D 기하 구조를 추출하기 위해.
• 학습 중에 사용된 강체 변환을 초월해 직관적인 비강체 3D 이미지 조작을 가능하게 하기 위해.

제안 방법

• 공간 변환을 3D 버팀목 볼륨에 직접 적용하는 인코더-버팀목-디코더 아키텍처를 사용한다.
• 다중 시점 감독은 버팀목 특징 공간에서의 공간적 분리 학습을 장려한다.
• 인퍼런스 시점에 공간 변환(예: 회전, 스케일링, 왜곡)을 버팀목에 적용함으로써 다양한 3D 조작을 가능하게 한다.
• 여러 이미지의 버팀목를 공통 좌표계로 변환하고 융합함으로써 표현을 향상시킬 수 있다.
• 3D 감독 없이도 이미지 세그멘테이션에 기반한 간단한 복셀 점유도 분류기를 훈련시켜 버팀목에서 3D 구조를 추출한다.
• 합성된 새로운 시점의 이미지를 버팀목에서 재인코딩함으로써 고품질의 3D 복원을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 CNN는 명시적인 3D 감독 없이 다중 시점 2D 이미지에서 공간적으로 분리된 3D 특징 표현을 학습할 수 있는가?
• RQ2 학습된 버팀목에 임의의 비강체 3D 변환을 적용하여 창의적인 이미지 조작을 가능하게 할 수 있는가?
• RQ3 오직 강체 시점 변화에 대해 훈련된 네트워크가 인퍼런스 시점에 비강체 조작으로 일반화될 수 있는가?
• RQ4 3D 애너테이션 없이 버팀목 표현만을 사용하여 단일 이미지에서 고품질의 3D 복원을 달성할 수 있는가?
• RQ5 버팀목 표현이 최신 기술 수준의 새로운 시점 합성과 상호작용 가능한 3D 편집을 모두 지원할 수 있는가?

주요 결과

• TBNs는 ShapeNet 데이터셋에서 L1 및 SSIM 지표 모두에서 이전 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 버팀목 특징는 의미 있는 공간적 구조를 가지며, 비균일 스케일링, 비틀기, 다른 이미지의 부분을 붙이기 등의 직관적이고 다양한 3D 조작을 가능하게 한다.
• 비강체 변형, 특히 局부 왜곡과 팽창은 어떤 시점에서나 타당하고 일관된 3D 렌더링을 생성한다.
• 3D 감독 없이도 이미지 세그멘테이션에 기반한 복셀 점유도 분류기가 성공적으로 버팀목에서 3D 기하 구조를 추출하여 단일 이미지 3D 복원을 가능하게 한다.
• 완전한 TBN 파이프라인은 고시각적 정확도를 유지하면서도 실시간으로 3D 오브제를 실제 환경에 상호작용하고 조합할 수 있도록 한다.
• 이 방법은 훈련 데이터를 초월한다: 오직 강체 변환에 대해 훈련된 네트워크도 인퍼런스 시점에 임의의 비강체 3D 변환을 적용할 수 있다.