[논문 리뷰] Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer

Tianwei Lin, Zhuoqi Ma외 7명|arXiv (Cornell University)|2021. 04. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 10

한 줄 요약

이 논문은 인간의 그림 그리기 과정인 초초안 그리기와 수정 과정을 영감으로 삼아, 전방향 예술 스타일 전이 방법인 LapStyle을 제안한다. 저해상도에서 전역 스타일 전이를 수행하는 데에는 라플라시안 피라미드 네트워크와 초초안 네트워크를 사용하고, 다중 척도의 라플라시안 필터링된 텍스처를 기반으로 잔여 세부 정보를 환영하여 고해상도에서 실시간으로 고품질의 스타일 전이를 구현한다. 이로써 512×512 이미지에 대해 110 fps의 실시간 성능을 달성하며 전역 및 국소 패턴의 우수한 유지 보존을 이룬다.

ABSTRACT

Artistic style transfer aims at migrating the style from an example image to a content image. Currently, optimization-based methods have achieved great stylization quality, but expensive time cost restricts their practical applications. Meanwhile, feed-forward methods still fail to synthesize complex style, especially when holistic global and local patterns exist. Inspired by the common painting process of drawing a draft and revising the details, we introduce a novel feed-forward method named Laplacian Pyramid Network (LapStyle). LapStyle first transfers global style patterns in low-resolution via a Drafting Network. It then revises the local details in high-resolution via a Revision Network, which hallucinates a residual image according to the draft and the image textures extracted by Laplacian filtering. Higher resolution details can be easily generated by stacking Revision Networks with multiple Laplacian pyramid levels. The final stylized image is obtained by aggregating outputs of all pyramid levels. %We also introduce a patch discriminator to better learn local patterns adversarially. Experiments demonstrate that our method can synthesize high quality stylized images in real time, where holistic style patterns are properly transferred.

연구 동기 및 목표

• 기존의 전방향 스타일 전이 방법이 동시에 복잡한 전역 및 국소 스타일 패턴을 유지하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 최적화 기반 방법의 높은 추론 비용을 줄이면서도 고수준의 스타일 전이 품질을 유지하기 위해.
• 스타일 전이를 전역적 초초안 단계와 국소적 수정 단계로 분리하여 인간의 그림 그리기 과정을 모방하기 위해.
• 반복 최적화에 의존하지 않고도 실시간으로 고해상도 스타일 전이를 가능하게 하기 위해.

제안 방법

• 이 방법은 이중 단계 프로세스를 사용한다: 첫 번째로, 얕고 효율적인 아키텍처를 사용하여 저해상도에서 전역 스타일 패턴을 전달하는 초초안 네트워크를 적용한다.
• 두 번째로, 초안과 다중 수준의 라플라시안 필터링된 콘텐츠 이미지 특징을 기반으로 잔여 이미지를 환영하여 고해상도 국소 세부 정보를 생성하는 수정 네트워크를 운영한다.
• 수정 네트워크는 다중 라플라시안 피라미드 수준을 통해 고주파 세부 정보의 점진적 정밀화를 가능하게 한다.
• 잔여 학습 전략을 사용하여 수정 네트워크가 초안과 최종 스타일 전이 이미지 간의 차이를 예측함으로써 학습 안정성과 제어력을 향상시킨다.
• 수정 단계에서 국소 텍스처와 색상의 현실감을 향상시키기 위해 얕은 패치 판별기들을 도입하여 적대적 학습을 수행한다.
• 최종 스타일 전이 이미지는 모든 피라미드 수준의 출력을 통합하여 전역적 구조와 정교화된 국소 세부 정보를 결합한다.

실험 결과

연구 질문

• RQ1 전방향 스타일 전이 방법이 복잡한 예술 스타일에서 전역 및 국소 스타일 패턴을 효과적으로 유지할 수 있는가?
• RQ2 이중 단계의 초초안-수정 프레임워크가 종래의 엔드 투 엔드 전방향 네트워크보다 스타일 전이 품질과 세부 정보 충실도에서 뛰어나게 성능을 발휘하는가?
• RQ3 라플라시안 피라미드 기반의 다중 척도 특징 추출이 전역 일관성을 유지하면서도 국소 세부 정보 생성을 향상시킬 수 있는가?
• RQ4 최적화 기반 방법에 의존하지 않고도 110 fps의 실시간 추론을 통해 고해상도(512×512) 스타일 전이 출력을 생성할 수 있는가?

주요 결과

• LapStyle는 512×512 이미지에 대해 110 fps의 실시간 추론 성능을 달성하여 최적화 기반 방법에 비해 빠른 속도를 보이며 동시에 고품질을 유지한다.
• 제거 실험을 통해 rEMD 손실이 복잡한 스타일 패턴을 유지하는 데 필수적임을 확인하였으며, 특히 전역 및 국소 구조가 동시에 존재할 경우에 더욱 중요하다.
• 자기 유사성 손실($l_{ss}$)은 비현실적이거나 노이즈가 많은 스타일 아티팩트를 억제하여 시각적 조화를 향상시킨다.
• 지각 손실($l_p$)은 콘텐츠 구조를 유지하는 데 핵심적이며, 이 손실이 없을 경우 콘텐츠 정체성이 완전히 손실된다.
• 적대적 손실($l_{adv}$)은 국소 텍스처와 색상 분포의 현실감을 크게 향상시켜 수정된 세부 정보의 생생함을 강화한다.
• 라플라시안 차이 이미지에 기반한 잔여 예측을 통한 수정 과정이 직접 RGB 공간에서의 정밀화보다 더 조화로운 결과를 도출한다.