[논문 리뷰] UMFA: A photorealistic style transfer method based on U-Net and multi-layer feature aggregation

Dongyu Rao, Xiao‐Jun Wu외 3명|arXiv (Cornell University)|2021. 08. 13.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 다층 특징 집약(MFA)과 적응형 인스턴스 정규화(AdaIN)를 활용한 U-Net 아키텍처를 사용하는 사진처럼 생긴 스타일 전이 방법인 UMFA를 제안한다. 인코더에 밀집 블록과 MFA 향상된 스킵 연결을 통합함으로써 UMFA는 콘텐츠 세부 정보를 유지하면서도 사진처럼 생긴 스타일을 전이하며, 더 낮은 스타일 손실과 높은 구조 유사도를 달성하여 최신 기술 수준의 성능을 보이며, 마스크나 후처리 없이 실시간 추론을 가능하게 한다.

ABSTRACT

In this paper, we propose a photorealistic style transfer network to emphasize the natural effect of photorealistic image stylization. In general, distortion of the image content and lacking of details are two typical issues in the style transfer field. To this end, we design a novel framework employing the U-Net structure to maintain the rich spatial clues, with a multi-layer feature aggregation (MFA) method to simultaneously provide the details obtained by the shallow layers in the stylization processing. In particular, an encoder based on the dense block and a decoder form a symmetrical structure of U-Net are jointly staked to realize an effective feature extraction and image reconstruction. Besides, a transfer module based on MFA and "adaptive instance normalization" (AdaIN) is inserted in the skip connection positions to achieve the stylization. Accordingly, the stylized image possesses the texture of a real photo and preserves rich content details without introducing any mask or post-processing steps. The experimental results on public datasets demonstrate that our method achieves a more faithful structural similarity with a lower style loss, reflecting the effectiveness and merit of our approach.

연구 동기 및 목표

• 사진처럼 생긴 스타일 전이에서 콘텐츠 왜곡과 세부 정보 손실 문제를 해결하기 위해.
• 후처리 또는 세그멘테이션 마스크 없이 고해상도 이미지의 실시간 스타일 전이를 가능하게 하기 위해.
• 새로운 다층 특징 집약(MFA) 메커니즘을 통해 다중 척도 특징을 활용하여 특징 표현을 향상시키기 위해.
• U-Net의 스킵 연결과 AdaIN, 밀집 블록을 조합하여 자연스럽고 사진처럼 생긴 스타일 전이를 달성하기 위해.
• 스타일 전이 품질과 추론 속도의 균형을 이루며, 기존 방법들보다 두 지표에서 모두 뛰어난 성능을 내기 위해.

제안 방법

• 효율적인 특징 학습과 이미지 재구성에 기여하는 대칭적인 다운샘플링 및 업샘플링 경로를 갖는 U-Net 기반의 인코더-디코더 프레임워크를 사용한다.
• 다운샘플링 모듈에서 특징 추출을 향상시키고 공간적 세부 정보를 유지하기 위해 인코더에 밀집 블록을 사용한다.
• 스타일 전이를 적용하면서 다중 척도 특징 표현을 유지하기 위해 스킵 연결에 AdaIN과 MFA 기반의 전이 모듈을 삽입한다.
• 다층 특징 집약(MFA)은 여러 레이어의 특징을 융합하여 스타일 전이 표현을 풍부화하고 특징의 표현력을 향상시킨다.
• 디코더는 인코더의 스킵 연결을 사용하여 콘텐츠 구조에 높은 충실도를 유지한 스타일 전이 이미지를 재구성한다.
• 스타일 전이 품질과 콘텐츠 유지에 최적화하기 위해 그램 손실과 인지 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 다층 특징 집약(MFA)을 통합한 U-Net 기반 아키텍처가 사진처럼 생긴 스타일 전이에서 세부 정보 유지에 기여하는가?
• RQ2 인코더-디코더 프레임워크에 밀집 블록과 MFA를 통합할 경우 스타일 전이 품질과 추론 속도에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 마스크나 후처리 단계 없이 실시간 사진처럼 생긴 스타일 전이를 달성할 수 있는가?
• RQ4 AdaIN과 MFA를 조합한 방식이 기존 방법들인 PhotoWCT와 WCT2보다 더 나은 스타일 전이 성능을 내는가?
• RQ5 제안된 방법이 콘텐츠 이미지의 구조 유사도를 유지하면서 스타일 손실을 얼마나 줄이는가?

주요 결과

• UMFA는 비교된 모든 방법들 중에서 가장 낮은 그램 손실(8.996)을 기록하여 스타일 전이의 정밀도가 뛰어나다는 것을 나타낸다.
• 기준 데이터셋에서 UMFA는 가장 높은 SSIM(0.612)을 기록하여 구조적 콘텐츠 유지 능력이 뛰어나다는 것을 입증한다.
• 주관적 평가에서 36.9%의 사용자가 UMFA를 가장 뛰어난 스타일 전이 품질로 평가했으며, AdaIN(13.2%), PhotoWCT(25.1%), WCT2(24.8%)를 모두 앞선다.
• UMFA는 1024×1024 이미지에 대해 0.64초 내로 처리가 가능하여 PhotoWCT(3.66초)와 WCT2(6.06초)보다 약 10배 빠르며, 실시간 성능을 확보한다.
• 스타일 전이 품질과 속도의 균형을 잘 이룩하여, AdaIN보다 품질이 뛰어나고 PhotoWCT 및 WCT2보다 훨씬 빠른 성능을 보인다.
• 시각적 결과에서 UMFA는 콘텐츠 왜곡이 최소화되고 텍스처 세부 정보가 향상된 더 자연스럽고 사진처럼 생긴 출력물을 생성한다.