[논문 리뷰] DRB-GAN: A Dynamic ResBlock Generative Adversarial Network for Artistic Style Transfer

Wenju Xu, Chengjiang Long외 2명|arXiv (Cornell University)|2021. 08. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 54인용 수 6

한 줄 요약

이 논문은 동적 잔차 블록 기반 GAN인 DRB-GAN을 제안하며, 하나의 모델에서 임의의 스타일 전이와 컬렉션 기반 스타일 전이를 통합한다. 동적 잔차 블록 내에서 스타일 코드를 공유 파라미터로 모델링하고, 스타일 클래스 인식 주의 메커니즘과 공간 윈도우 레이어-인스턴스 정규화를 적용함으로써, DRB-GAN은 두 스타일 전이 유형 모두에서 최고 수준의 시각적 품질과 효율성을 달성한다.

ABSTRACT

The paper proposes a Dynamic ResBlock Generative Adversarial Network (DRB-GAN) for artistic style transfer. The style code is modeled as the shared parameters for Dynamic ResBlocks connecting both the style encoding network and the style transfer network. In the style encoding network, a style class-aware attention mechanism is used to attend the style feature representation for generating the style codes. In the style transfer network, multiple Dynamic ResBlocks are designed to integrate the style code and the extracted CNN semantic feature and then feed into the spatial window Layer-Instance Normalization (SW-LIN) decoder, which enables high-quality synthetic images with artistic style transfer. Moreover, the style collection conditional discriminator is designed to equip our DRB-GAN model with abilities for both arbitrary style transfer and collection style transfer during the training stage. No matter for arbitrary style transfer or collection style transfer, extensive experiments strongly demonstrate that our proposed DRB-GAN outperforms state-of-the-art methods and exhibits its superior performance in terms of visual quality and efficiency. Our source code is available at \color{magenta}{\url{https://github.com/xuwenju123/DRB-GAN}}.

연구 동기 및 목표

• 기존 방법이 임의의 스타일 전이와 컬렉션 기반 스타일 전이를 별개의 과제로 간주하는 한계를 해결한다.
• 스타일 코드를 동적 잔차 블록 내 공유 파라미터로 모델링하여 스타일 전이 품질을 향상시킨다.
• 스타일 인코딩 네트워크에서 스타일 클래스 인식 주의 메커니즘을 통해 특징 표현 학습을 향상시킨다.
• 다양한 예술 스타일과 이미지 해상도에 걸쳐 일관되고 고품질의 스타일 전이를 가능하게 한다.
• 일관성과 일반화를 향상시키기 위해 스타일 컬렉션 조건부 판별자를 설계한다.

제안 방법

• 스타일 전이 네트워크 내 여러 개의 동적 잔차 블록에서 동적 컨볼루션과 AdaIN 레이어에 대한 스타일 코드를 공유 파라미터로 모델링한다.
• 스타일 인식 특징을 추출하기 위해 고정된 VGG 인코더와 학습 가능한 인코더를 스타일 인코딩 네트워크에 통합한다.
• 스타일 특징 표현에서 유도된 주의 가중치를 사용하여 스타일 코드를 재조정하기 위해 스타일 클래스 인식 주의 메커니즘을 적용한다.
• 학습 가능한 파라미터를 가진 지역 채널별 및 레이어별 정규화를 동적으로 조합하는 공간 윈도우 레이어-인스턴스 정규화(SW-LIN) 디코더를 사용한다.
• 동일한 예술가의 여러 스타일 이미지를 기반으로 하여 특징 공간 일관성을 강제하기 위해 스타일 컬렉션 조건부 판별자를 설계한다.
• 스타일 코드 클러스터링과 일반화를 향상시키기 위해 적대적 손실, 인지 손실 및 분류 손실($\mathcal{L}_{cls}$)을 사용하여 모델을 훈련한다.

Figure 1: Examples of two types of artistic style transfer: (a) arbitrary style transfer and (b) collection style transfer. Note that the style image 1 and style collection 1 are from the artist Pablo Picasso , and the style image 2 and style collection 2 are from the artist Ukiyo-e . Our proposed D

실험 결과

연구 질문

• RQ1 통합된 GAN 프레임워크가 임의의 스타일 전이와 컬렉션 기반 예술 스타일 전이를 효과적으로 수행할 수 있는가?
• RQ2 동적 잔차 블록 내에서 스타일 코드를 공유 파라미터로 모델링하는 것이 스타일 전이 성능을 어떻게 향상시키는가?
• RQ3 스타일 클래스 인식 주의 메커니즘이 학습된 스타일 코드의 구분 능력을 어느 정도 향상시키는가?
• RQ4 SW-LIN 디코더는 아티팩트 감소와 고해상도 스타일 전이에 어떻게 기여하는가?
• RQ5 스타일 컬렉션 조건부 판별자의 스타일 전이의 일관성과 일반화에 미치는 영향은 무엇인가?

주요 결과

• DRB-GAN은 임의의 스타일 전이와 컬렉션 기반 스타일 전이 모두에서 최고 수준의 성능을 달성하였으며, 인지 점수는 0.383, 속임수 점수는 0.573이다.
• 제거 실험 결과, VGG 인코더를 제거하면 스타일 점수에 심각한 하락(0.383에서 0.273으로)이 발생하여 스타일 세부 사항을 포착하는 데의 중요성을 입증한다.
• L_{cls} 손실이 없는 모델는 스타일 일관성이 떨어지며, 스타일 점수는 0.273로 떨어지며, 이는 클래스 인식 주의 메커니즘이 스타일 코드 클러스터링에 유리함을 확인한다.
• SW-LIN 디코더는 인스턴스 정규화나 레이어 정규화만 사용하는 것보다 우수한 성능을 보이며, 아티팩트를 방지하고 고해상도 세부 정보를 유지한다.
• DRB-GAN은 새로운 스타일에 잘 일반화되며, 질적 결과에서 기존에 보지 못한 예술가의 스타일조차도 목표 스타일과 일치하는 스타일 전이 출력을 보여준다.
• 모델는 다양한 입력 해상도에서 일관된 성능을 유지하여 강건성과 확장성을 입증한다.

Figure 2: An overview of the proposed DRB-GAN, which consists of a style encoding network, a style transfer network, and a discriminative network. The style code modeled as the shared parameter for dynamic ResBlocks is the output from the style encoding network, with a combination of a pre-trained V