[논문 리뷰] PhotoWCT$^2$: Compact Autoencoder for Photorealistic Style Transfer Resulting from Blockwise Training and Skip Connections of High-Frequency Residuals

Tai-Yin Chiu, Danna Gurari|arXiv (Cornell University)|2021. 10. 22.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

PhotoWCT²는 고주파 잔여 항목의 블록 단위 훈련과 스케일 연결을 사용하여 사진처럼 생생한 스타일 전이를 위한 컴act한 오토인코더를 도입함으로써 기존의 PhotoWCT 및 WCT²와 같은 방법들보다 30.3% 적은 파라미터로 최신 기술 수준의 스타일 전이 품질을 달성하고, 4K 해상도를 지원하며 더 빠른 추론 속도를 제공한다.

ABSTRACT

Photorealistic style transfer is an image editing task with the goal to modify an image to match the style of another image while ensuring the result looks like a real photograph. A limitation of existing models is that they have many parameters, which in turn prevents their use for larger image resolutions and leads to slower run-times. We introduce two mechanisms that enable our design of a more compact model that we call PhotoWCT$^2$, which preserves state-of-art stylization strength and photorealism. First, we introduce blockwise training to perform coarse-to-fine feature transformations that enable state-of-art stylization strength in a single autoencoder in place of the inefficient cascade of four autoencoders used in PhotoWCT. Second, we introduce skip connections of high-frequency residuals in order to preserve image quality when applying the sequential coarse-to-fine feature transformations. Our PhotoWCT$^2$ model requires fewer parameters (e.g., 30.3\% fewer) while supporting higher resolution images (e.g., 4K) and achieving faster stylization than existing models.

연구 동기 및 목표

• 기존의 사진처럼 생생한 스타일 전이 모델들이 높은 파라미터 수와 계산 비용을 가지며, 이는 고해상도(예: 4K) 이미지 및 자원 제약이 있는 장치에서의 사용을 제한한다.
• PhotoWCT에서의 계단식 오토인코더의 비효율성을 해결하기 위해, 군집된 특징 변환을 위한 단일 컴팩트 오토인코더를 도입하고, 블록 단위 훈련을 통해 군집된 구조를 모방한다.
• 표준 오토인코더 인코딩 중에 손실되는 세밀한 디테일을 더 잘 복구하기 위해, 맥스 풀링 스케일 연결 대신 고주파 잔여 항목 기반 스케일 연결을 도입하여 이미지 재구성 품질을 향상시킨다.
• PhotoWCT 수준의 강력한 스타일 전이 강도를 유지하면서도, 기존 방법들보다 더 빠른 추론 속도와 더 높은 해상도 지원을 달성한다.

제안 방법

• 단일 오토인코더를 단계별로 군집된 구조를 모방하는 방식으로, 군집된 구조를 갖는 PhotoWCT의 특징을 재현하면서도 별도의 다수의 네트워크가 필요하지 않은 블록 단위 훈련을 도입한다.
• 단일 네트워크 내에서 군집에서 세밀한 특징 변환을 수행하는 컴팩트한 오토인코더 아키텍처를 설계하여 파라미터 수와 추론 시간을 감소시킨다.
• 특징 맵에서 추출한 고주파 잔여 항목 기반 스케일 연결을 구현하여, 인코딩 과정에서 손실된 세밀한 이미지 디테일을 더 잘 복구할 수 있도록 한다.
• 웨이블릿 기반 신호 처리 원리를 활용해 고주파 잔여 항목 스케일 연결의 설계를 지도함으로써 재구성 정밀도 향상에 이론적이고 경험적인 이점을 확보한다.
• 훈련을 외부에서 내부로(군집에서 세밀한 해상도로) 그리고 내부에서 외부로(세밀한 해상도에서 군집으로) 수행하여 훈련 안정성과 스케일 간 특징 정렬을 향상시킨다.
• 맥스 풀링 인덱스를 학습된 고주파 잔여 항목 스케일 연결로 대체하여 모델 복잡도를 증가시키지 않으면서도 재구성 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 컴팩트 오토인코더는 PhotoWCT의 계단식 네 개의 오토인코더 설계와 비교해 유사한 스타일 전이 강도를 달성할 수 있는가?
• RQ2 블록 단위 훈련은 단일 네트워크 내에서 효과적인 군집에서 세밀한 특징 변환을 가능하게 하며, 높은 스타일 전이 품질을 유지하는가?
• RQ3 고주파 잔여 항목 기반 스케일 연결은 전통적인 맥스 풀링 인덱스보다 이미지 디테일 복구에 더 효과적인가?
• RQ4 기존 최신 기술 수준의 방법들과 비교해, 제안된 방법은 모델 파라미터와 추론 시간을 얼마나 줄일 수 있으며, 4K 해상도 지원은 어떻게 달성하는가?
• RQ5 블록 단위 훈련과 고주파 잔여 항목 스케일 연결의 조합이 사진처럼 생생한 표현과 스타일 전이 정밀도에 어떤 영향을 미치는가?

주요 결과

• PhotoWCT²는 PhotoWCT 대비 30.3%의 파라미터 감소를 이룩하면서도 최신 기술 수준의 스타일 전이 강도와 사진처럼 생생한 표현을 유지한다.
• 모델은 4K 해상도(8.3메가픽셀)를 지원하며, 기존 방법들인 PhotoWCT 및 WCT²보다 더 빠른 스타일 전이 추론 속도를 제공한다.
• 블록 단위 훈련을 통해 단일 오토인코더가 PhotoWCT의 계단식 구조에서의 군집에서 세밀한 특징 변환을 재현할 수 있으며, 복수의 네트워크가 필요 없어졌다.
• 고주파 잔여 항목 기반 스케일 연결은 표준 오토인코더 인코딩에서 손실되는 세밀한 디테일을 더 잘 복구함으로써 이미지 재구성 품질을 크게 향상시킨다.
• 제거 실험 결과, 가장 높은 수준의 잔여 항목 스케일 연결(예: enc₄blk₄ 및 dec_btblk₄)을 제거할 경우 이미지 품질에 뚜렷한 열화가 발생함을 확인하여, 이들의 중요성을 입증한다.
• DPST 데이터셋에서의 정성적 및 정량적 결과는 PhotoWCT²가 PhotoWCT 및 WCT²와 같은 최신 기술 수준의 방법들과 비슷한 스타일 전이 성능을 달성하지만, 시간은 훨씬 더 적게 소요됨을 보여준다.