[논문 리뷰] Deep View Morphing

Dinghuang Ji, Kwon Junghyun외 2명|arXiv (Cornell University)|2017. 03. 07.

Advanced Vision and Imaging참고 문헌 10인용 수 19

한 줄 요약

이 논문은 깊이 있는 시각 변형(Deep View Morphing)을 제안하며, 정렬 네트워크, 조밀한 대응 관계 및 블렌딩 마스크를 위한 인코더-디코더 네트워크, 그리고 시각 변형 네트워크를 사용하여 고품질의 중간 시각을 생성하는 CNN 기반의 시각 합성 방법이다. 이 방법은 기존의 최첨단 기술 대비 질감 손실과 형태 왜곡을 감소시켜 뛰어난 성능을 달성한다.

ABSTRACT

Recently, convolutional neural networks (CNN) have been successfully applied to view synthesis problems. However, such CNN-based methods can suffer from lack of texture details, shape distortions, or high computational complexity. In this paper, we propose a novel CNN architecture for view synthesis called Deep View Morphing that does not suffer from these issues. To synthesize a middle view of two input images, a rectification network first rectifies the two input images. An encoder-decoder network then generates dense correspondences between the rectified images and blending masks to predict the visibility of pixels of the rectified images in the middle view. A view morphing network finally synthesizes the middle view using the dense correspondences and blending masks. We experimentally show the proposed method significantly outperforms the state-of-the-art CNN-based view synthesis method.

연구 동기 및 목표

• CNN 기반의 시각 합성 방법에서 발생하는 질감 세부 정보 손실과 형태 왜곡 문제를 해결하기 위해.
• 고품질의 이미지를 유지하면서도 시각 합성의 계산 복잡도를 감소시키기 위해.
• 새로운 시각 생성에서 픽셀의 가시성 예측 정확도를 향상시키기 위해.
• 두 입력 이미지에서 중간 시각을 합성하기 위한 강력하고 종단 간(end-to-end) 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 정렬 네트워크는 두 입력 이미지를 상호 일치하는 좌표 공간으로 정렬하여 대응 관계 학습을 단순화한다.
• 인코더-디코더 네트워크는 정렬된 이미지 간의 조밀한 대응 관계와 블렌딩 마스크를 예측한다.
• 블렌딩 마스크는 최종 중간 시각에서 각 입력 이미지의 픽셀이 얼마나 가시적인지를 추정한다.
• 시각 변형 네트워크는 조밀한 대응 관계와 블렌딩 마스크를 사용하여 목표 중간 시각을 합성한다.
• 전체 파이프라인은 시각 합성 품질을 최적화하기 위해 종단 간으로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 러닝 아키텍처가 CNN 기반의 시각 합성에서 질감 세부 정보 손실을 줄일 수 있는가?
• RQ2 조밀한 대응 관계와 가시성 마스크는 새로운 시각 합성 품질 향상에 얼마나 효과적인가?
• RQ3 제안된 방법이 기존의 최첨단 CNN 기반의 시각 합성 기술을 초월하는가?
• RQ4 이 아키텍처는 합성된 시각에서 형태 왜곡을 얼마나 줄이는가?

주요 결과

• 제안된 방법은 정성적 및 정량적 평가에서 최첨단 CNN 기반의 시각 합성 방법을 뛰어넘는 성능을 보였다.
• 기본 CNN 기반 접근 방식 대비 질감 세부 정보 손실이 감소했다.
• 조밀한 대응 관계와 가시성 마스크의 사용은 더 정확하고 자연스러운 시각 합성을 가능하게 했다.
• 아키텍처는 합성된 시각에서 형태 왜곡에 대해 향상된 강건성을 보였다.