[논문 리뷰] A Closed-form Solution to Photorealistic Image Stylization

Yijun Li, Ming-Yu Liu외 3명|arXiv (Cornell University)|2018. 02. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 50

한 줄 요약

논문은 닫힌 형식 해를 가진 두 단계의 사진실사적 이미지 스타일화 파이프라인을 소개한다: PhotoWCT 스타일화 단계와 그다음의 매끄럽힘 단계로, 이전 방법들보다 더 빠르고 더 사진실사적으로 결과를 제공한다.

ABSTRACT

Photorealistic image stylization concerns transferring style of a reference photo to a content photo with the constraint that the stylized photo should remain photorealistic. While several photorealistic image stylization methods exist, they tend to generate spatially inconsistent stylizations with noticeable artifacts. In this paper, we propose a method to address these issues. The proposed method consists of a stylization step and a smoothing step. While the stylization step transfers the style of the reference photo to the content photo, the smoothing step ensures spatially consistent stylizations. Each of the steps has a closed-form solution and can be computed efficiently. We conduct extensive experimental validations. The results show that the proposed method generates photorealistic stylization outputs that are more preferred by human subjects as compared to those by the competing methods while running much faster. Source code and additional results are available at https://github.com/NVIDIA/FastPhotoStyle .

연구 동기 및 목표

• 콘텐츠와 리얼리즘을 보존하는 사진실사적 이미지 스타일화를 촉진한다.
• 이전 스타일화 방법의 공간적 아티팩트와 불일치를 다룬다.
• 효율성을 위한 닫힌 형식 해를 가진 두 단계 파이프라인을 제안한다.
• 픽셀 친화도에 기반한 매끄럽힘 단계를 통해 지각적 리얼리즘을 개선한다.

제안 방법

• 네트워크 설계에 기반하고 콘텐츠 및 스타일 특징에 맞춘 whitening과 coloring transforms를 적용하는 PhotoWCT 기반 스타일화 단계.
• 공간 정보를 보존하고 인공적 아티팩트를 줄이기 위해 디코더의 unpooling을 사용한다.
• 그래프 기반 친화도(W)와 정규화된 라플라시안(S)을 이용해 지역 일관성을 강제하는 닫힌 형식 해를 갖는 매끄럽힘 단계 적용.
• α = 1/(1+λ)인 닫힌 형식 해를 이용해 매끄럽힘 최적화를 해결: R* = (1 - α)(I - αS)^{-1}Y.
• 다층 스타일화를 VGG-19 레이어 전반에 걸쳐 진행하고 선택적 의미 레이블을 사용해 영역별 스타일 전이를 개선.

실험 결과

연구 질문

• RQ1 스타일화와 공간 매끄럽힘을 분리한 두 단계 접근으로 사진실사적 스타일화를 달성할 수 있는가?
• RQ2 닫힌 형식 매끄럽힘 단계가 왜곡을 줄이고 스타일 품질을 희생하지 않으면서 리얼리즘을 개선하는가?
• RQ3 PhotoWCT 대 WCT, 친화도 선택 등의 설계 선택이 출력 품질과 속도에 어떤 영향을 미치는가?
• RQ4 정확한 매끄럽힘과 빠른 근사치 간의 거래에서 지각 품질은 어떻게 변하는가?

주요 결과

• 제안된 방법은 사용자 연구에서 경쟁 방법보다 인간 주체가 선호하는 스타일화 이미지를 산출한다.
• PhotoWCT는 구조적 아티팩트를 표준 WCT보다 더 잘 감소시키며 공간 디테일을 보존한다.
• 매끄럽힘 단계는 MattingAffinity 또는 그래프 기반 친화도를 사용해 가우시안 친화도보다 지역적 일관성을 더 잘 달성한다.
• 닫힌 형식의 매끄럽힘은 최적화 기반 기준선(Luan 등)보다 계산 속도가 빠르게 가능하게 한다.
• 근사 빠른 버전(가이드 이미지 필터링)은 선호도 점수의 약간 손실로 처리 속도를 크게 향상시켰다.
• 정성적 결과는 다양한 콘텐츠/스타일 쌍에서 더 나은 사진실사성과 더 적은 아티팩트를 보인다.