[논문 리뷰] View Synthesis by Appearance Flow

Tinghui Zhou, Shubham Tulsiani외 3명|arXiv (Cornell University)|2016. 05. 11.

Advanced Vision and Imaging참고 문헌 32인용 수 26

한 줄 요약

이 논문은 새로운 시각 합성 기법을 제안한다. 이 기법은 입력 이미지에서 픽셀을 어디서 복사할 것인지 나타내는 2차원 좌표 벡터인 '외관 흐름(appearance flow)'을 학습함으로써 새로운 시각을 재구성한다. 픽셀을 새로 생성하는 대신, 컨volutional 네트워크(CNN)를 사용해 이러한 흐름을 예측함으로써 고해상도의 세부 정보를 유지하는 고성능 합성을 가능하게 하며, 객체와 환경에서 직접 픽셀 생성 방법보다 인지적 품질과 정량적 지표에서 뛰어난 성능을 발휘한다.

ABSTRACT

We address the problem of novel view synthesis: given an input image, synthesizing new images of the same object or scene observed from arbitrary viewpoints. We approach this as a learning task but, critically, instead of learning to synthesize pixels from scratch, we learn to copy them from the input image. Our approach exploits the observation that the visual appearance of different views of the same instance is highly correlated, and such correlation could be explicitly learned by training a convolutional neural network (CNN) to predict appearance flows -- 2-D coordinate vectors specifying which pixels in the input view could be used to reconstruct the target view. Furthermore, the proposed framework easily generalizes to multiple input views by learning how to optimally combine single-view predictions. We show that for both objects and scenes, our approach is able to synthesize novel views of higher perceptual quality than previous CNN-based techniques.

연구 동기 및 목표

• 단일 또는 다중 입력 이미지에서 객체와 환경의 현실적인 새로운 시각을 합성하는 데 도전하는 데 목적을 두며.
• 기존의 학습 기반 방법과 비교해 인지적 품질을 향상시키고 뿌연(blurry) 현상을 줄이는 데 목적을 두며.
• 명시적인 3D 구조 추정 없이도 학습된 외관 상관관계를 통해 시각적 세부 정보를 유지하고, 가림을 처리하는 데 목적을 두며.
• 단일 시각 예측의 최적 융합을 학습함으로써 다수의 입력 시각으로 일반화하는 데 목적을 두며.
• 가짜 콘텐츠를 생성하지 않고도 입력 시각에서 픽셀을 복사하는 방식을 활용해 세부 정보를 유지하는 합성 기법을 제공하는 데 목적을 두며.

제안 방법

• 모델은 입력 이미지에서 목표 시각의 각 픽셀에 대응하는 소스 픽셀 좌표를 나타내는 2차원 벡터인 외관 흐름 필드를 예측하도록 CNN을 훈련시킨다.
• 픽셀의 RGB 값을 생성하는 대신, 학습된 흐름 필드를 통해 입력 이미지의 픽셀을 '복사'하는 방식으로 모델이 학습되며, 노이즈에서 픽셀을 생성하는 데 필요한 양을 줄인다.
• 이전 연구와 유사한 인코더-디코더 아키텍처에 스킵 연결을 사용하지만, 픽셀 생성 대신 흐름 예측을 수행한다.
• 다중 시각 합성에서는 다양한 입력 시각의 예측을 유연한 융합 메커니즘을 통해 통합한다.
• 예측된 이미지와 진짜 이미지 간의 L1 거리 기반 복원 손실을 사용하여 네트워크를 훈련시키며, 기울기 흐름을 향상시키기 위해 다중 척도 감시를 적용한다.
• 합성 훈련 데이터의 통계와 일치하도록 실사 이미지(예: PASCAL VOC)에 사전 처리를 적용하여 제로샷 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 외관 흐름 예측이 인지적 품질 측면에서 직접 픽셀 생성보다 새로운 시각 합성에서 더 나은 성능을 내는가?
• RQ2 흐름 기반 접근 방식이 종단 간 생성 모델보다 세부 정보와 에지 경계를 더 잘 유지하는가?
• RQ3 단일 시각 흐름 네트워크가 PASCAL VOC와 같은 데이터셋의 실사 이미지에 얼마나 잘 일반화되는가?
• RQ4 다중 시각 융합이 단일 시각 흐름 예측에 비해 성능과 내성 강도를 향상시키는가?
• RQ5 명시적인 3D 감독 없이도 장거리 외관 상관관계를 학습할 수 있는가?

주요 결과

• 장면에 대한 KITTI 데이터셋에서 단일 시각 설정에서 제안된 방법은 평균 L1 오차 0.048을 기록했으며, 기준선 [1]의 0.072보다 유의미하게 낮았다.
• KITTI의 다중 시각 설정에서, 추가 입력 시각으로 인해 L1 오차는 0.042로 감소하여 성능 향상을 입증했다.
• PASCAL VOC에서 사전 처리를 통해 훈련 통계를 일치시킨 후 모델은 실사 이미지로 일반화되어 기준선 [1]보다 더 현실적이고 세부 정보가 풍부한 결과를 생성했다.
• 시각적 비교 결과, 제안된 방법이 복잡한 환경에서 특히 텍스처 세부 정보와 에지 경계를 더 잘 유지하는 것으로 나타났다.
• 장거리 흐름 추정 오류로 인해 가림 영역이나 고도로 동적인 영역에서 왜곡이 발생하는 실패 케이스가 관찰되었다.
• 객체 및 장면 데이터셋 전반에서 정량적(정확도 오차) 및 정성적(인지적 품질) 평가에서 기준선 픽셀 생성 방법보다 제안된 방법이 뛰어난 성능을 보였다.