[논문 리뷰] Visual Attribute Transfer through Deep Image Analogy

Jing Liao, Yuan Yao외 3명|arXiv (Cornell University)|2017. 05. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 32

한 줄 요약

이 논문은 사전 훈련된 CNN에서 추출한 깊이 있는 특징을 활용하여 의미적으로 유사하지만 외관이 상이한 이미지 간(예: 스케치에서 사진, 그림에서 풍경) 시각적 속성 전달을 위한 딥 이미지 애널로지 방법을 제안한다. 이 방법은 깊이 있는 특징 공간에서의 코arse-to-fine 근접 이웃 필드 계산을 통해 색상, 텍스처, 스타일 등의 전달을 강력하게 구현하며, 기존 방법보다 스타일 전달, 색상 전달, 타임랩스 생성 과제에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a new technique for visual attribute transfer across images that may have very different appearance but have perceptually similar semantic structure. By visual attribute transfer, we mean transfer of visual information (such as color, tone, texture, and style) from one image to another. For example, one image could be that of a painting or a sketch while the other is a photo of a real scene, and both depict the same type of scene. Our technique finds semantically-meaningful dense correspondences between two input images. To accomplish this, it adapts the notion of "image analogy" with features extracted from a Deep Convolutional Neutral Network for matching; we call our technique Deep Image Analogy. A coarse-to-fine strategy is used to compute the nearest-neighbor field for generating the results. We validate the effectiveness of our proposed method in a variety of cases, including style/texture transfer, color/style swap, sketch/painting to photo, and time lapse.

연구 동기 및 목표

• 외관이 극적으로 다를 수 있지만 의미적으로 유사한 이미지 간에 색상, 텍스처, 스타일 등의 시각적 속성을 전달하는 문제에 대응한다.
• 스케치 대 비디오 사진과 같은 극단적인 외관 변화에서 실패하는 저수준 매칭 방법(예: 옵티컬 플로우, PatchMatch)의 한계를 극복한다.
• 기존 방법이 실패하는 다양한 도메인(예: 그림, 스케치, 사진)의 이미지 간에 조밀하고 의미적으로 유의미한 대응 관계를 설정한다.
• 도메인 특화 조정 없이도 다양한 이미지 쌍에 일반적으로 적용 가능한 시각적 속성 전달 프레임워크를 개발한다.
• 딥 특징과 코어스-투-파인 근접 이웃 필드 전략을 융합하여 고품질의 스타일링 및 전달 결과를 달성한다.

제안 방법

• 사전 훈련된 CNN(예: VGG-19)을 활용해 의미적 내용을 표현하고 이질적 도메인 간의 매칭을 가능하게 하기 위해 이미지 애널로지 프레임워크를 깊이 있는 특징 공간으로 확장한다.
• CNN의 중간 특징 맵을 사용하여 소스 이미지와 기준 이미지 간에 공간적으로 일관되고 의미적으로 의미 있는 조밀한 대응 관계를 설정한다.
• 일관성 있는 정확도 향상과 효율성 향상을 위해 근접 이웃 필드(NNF) 계산을 위한 코어스-투-파인 전략을 구현한다.
• 시각적 속성 전달 문제를 이중 추론 작업으로 공식화하여 전달된 이미지와 재구성된 기준 이미지를 동시에 추정한다.
• 딥 특징의 계층적 성질을 활용하여, 낮은 층은 텍스처와 색상을, 높은 층은 의미적 구조를 표현하도록 하여 속성 전달를 지도한다.
• 에너지 최소화를 통해 NNF의 공간 일관성과 매끄러움을 강제하여, 텍스처가 없는 또는 모호한 영역에서도 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 추출한 딥 특징이 의미적으로 유사하지만 외관이 극적으로 다른 이미지 간에 강력한 조밀한 대응 관계를 설정하는 데 효과적인가?
• RQ2 스케치에서 사진으로의 극단적인 외관 변화를 다룰 때, 딥 이미지 애널로지가 전통적인 저수준 매칭 방법(예: PatchMatch, 옵티컬 플로우)보다 어떻게 우월한가?
• RQ3 이 방법은 스타일 전달, 색상 전달, 타임랩스 생성과 같은 다양한 시각적 속성 전달 과제에 얼마나 일반화되는가?
• RQ4 일부 최첨단 접근 방식과 달리, 세그멘테이션 마스크나 비디오 시퀀스가 필요 없이도 고품질 결과를 생성할 수 있는가?
• RQ5 이 방법의 실패 사례는 딥 특징 표현의 한계나 기하학적 불변성의 결여와 어떤 관련이 있는가?

주요 결과

• 이 방법은 의미적으로 유사하지만 외관이 상이한 이미지 간(예: 스케치에서 사진, 그림에서 실제 풍경) 시각적 속성(색상, 텍스처, 스타일)을 성공적으로 전달한다.
• 지역 기반 매핑(예: 잔디 영역)에서 NRDC보다 우수한 성능을 보이며, 국소적이고 대응 기반 접근 방식 덕분이다.
• 단일 기준 이미지를 사용하여 타임랩스 시퀀스 생성이 가능하며, 동일한 환경 요소(예: 나무에서 나무로) 간의 대응을 통해 프레임 간 의미 일관성을 확보한다.
• Luan 등 [2017]과 비교해 얼굴 및 구조적 영역에서 포스터라이제이션 효과를 피하고 더 자연스러운 결과를 생성한다.
• Shih 등 [2013]과 Luan 등 [2017]의 결과 수준에 도달하는 시각적 품질을 제공하지만, 비디오나 세그멘테이션 마스크가 필요 없이 단일 기준 이미지만으로도 작동한다.
• 실패 사례로는 잘못된 영역 매칭(예: 모자), 스케일/시점 변화, 활성도가 낮은 텍스처가 없는 영역 등이 있으며, 이는 깊이 있는 특징 표현의 한계나 세밀한 또는 기하학적으로 복잡한 구조에 대한 제약을 시사한다.