[논문 리뷰] Deep Painterly Harmonization

Fujun Luan, Sylvain Paris외 2명|arXiv (Cornell University)|2018. 04. 09.

Computer Graphics and Visualization Techniques참고 문헌 14인용 수 13

한 줄 요약

이 논문은 VGG 신경망 특징을 사용하여 그림에서 국소적인 색상, 질감 및 구조 통계를 붙인 사진 요소로 전이하는 두 단계의 딥러닝 방법인 Deep Painterly Harmonization을 제안한다. 특징 통계에서 공간적 및 다중 척도 일관성을 강제함으로써, 눈에 띄는 틈새 없이 예술적으로 일관된 복합 이미지를 생성하며, 이는 실제 그림과 시각적으로 구분되지 않으며, 사용자 연구에서 사진 복합 및 전역 스타일 전이 기법보다 뛰어난 성능을 보인다.

ABSTRACT

Copying an element from a photo and pasting it into a painting is a challenging task. Applying photo compositing techniques in this context yields subpar results that look like a collage --- and existing painterly stylization algorithms, which are global, perform poorly when applied locally. We address these issues with a dedicated algorithm that carefully determines the local statistics to be transferred. We ensure both spatial and inter-scale statistical consistency and demonstrate that both aspects are key to generating quality results. To cope with the diversity of abstraction levels and types of paintings, we introduce a technique to adjust the parameters of the transfer depending on the painting. We show that our algorithm produces significantly better results than photo compositing or global stylization techniques and that it enables creative painterly edits that would be otherwise difficult to achieve.

연구 동기 및 목표

• 보이는 틈새나 부자연스러운 잔상 없이 사진 요소를 그림에 자연스럽게 복합화하는 데 도전하는 것.
• 화풍이 강한 배경에 적용될 때 전역 스타일 전이 및 사진 복합 기법의 한계를 극복하는 것.
• 조화된 복합 이미지에서 국소적 질감과 다중 척도 구조를 모두 유지하는 방법을 개발하는 것.
• 붙인 요소가 그림의 고유한 시각적 스타일과 일치하도록 보장함으로써 창의적이고 예술가 같은 편집을 가능하게 하는 것.

제안 방법

• 이 방법은 두 단계 최적화 프레임워크를 사용한다: 첫 번째 단계는 전역 통계를 사용해 근사한 조화를 이루고, 두 번째 단계는 국소적 및 다중 척도 일관성을 통해 결과를 정밀하게 조정한다.
• 그림과 붙인 이미지 간의 깊이 신경망(VGG) 활성화 특징의 통계를 전이하여 색상, 질감 및 구조를 일치시킨다.
• 공간 일관성은 그림 내에서 작은 일관성 있는 영역 집합을 선택하여 특징 전이를 이끌어내어 고립되거나 노이즈가 많은 통계를 방지한다.
• 다중 척도 일관성은 VGG 네트워크의 다양한 레이어 간의 특징 반응 상관관계를 유지함으로써 확보된다.
• 그림의 스타일에 따라 최적의 전이 파rameter를 예측하기 위해 별도의 신경망을 훈련시켜 다양한 예술 스타일에 적응할 수 있도록 한다.
• 깊은 이미지 유사성 원칙과 대상별 통계 전이를 조합하여, 전체 이미지 재구성보다는 인지적으로 관련 있는 특징에 집중한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 통계가 국소적 질감과 구조를 유지하면서 사진 요소를 그림에 조화롭게 통합하는 데 효과적으로 사용될 수 있는가?
• RQ2 특징 통계에서 공간적 및 다중 척도 일관성을 강제하면 고립되거나 전역 통계에 비해 복합 이미지의 현실감이 어떻게 향상되는가?
• RQ3 일관된 수준의 수동 조정 없이도 단일 알고리즘이 다양한 그림 스타일에 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 방법이 사용자 인식에서 실제 그림과 구분되지 않는 복합 이미지를 생성할 수 있는가?
• RQ5 시각적 품질과 인지적 현실감 측면에서, 이 방법은 최신의 사진 복합 및 전역 스타일 전이 기법과 비교해 어떻게 성능을 냈는가?

주요 결과

• 사용자 연구 결과, 제안된 방법이 참가자들 사이에서 가장 선호되며, 결과는 종종 복합 이미지가 아니라 실제 그림으로 인식된다.
• 이 방법은 포아송 블렌딩, 다중 척도 조화 [SJMP10], 이미지 믹싱 [DSB*12]보다 국소적 질감과 색상 일관성을 크게 향상시킨다.
• 결과는 신경망 특징 통계에서 공간적 및 다중 척도 일관성이 고품질 조화에 핵심적임을 보여준다.
• 알고리즘은 강한 추상화, 브러시 워크 및 비균일 질감을 가진 다양한 그림 스타일을 성공적으로 처리한다.
• 통계 유사도 분석을 통해 원본 그림의 스타일과 시각적으로 일관된 복합 이미지를 생성함을 확인했으며, 이는 다른 방법보다 실제 그림과 더 가까운 유사도를 보였다.
• 이 방법은 예를 들어 풍선과 같은 표준 객체를 다양한 그림에 자연스럽게 삽입하여 스타일에 자연스럽게 녹여내는 창의적 응용을 가능하게 한다.