[논문 리뷰] Generative Hierarchical Features from Synthesizing Images

Yinghao Xu, Yujun Shen외 3명|arXiv (Cornell University)|2020. 07. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 72인용 수 4

한 줄 요약

이 논문은 사전 훈련된 StyleGAN 생성기의 출력을 학습된 손실 함수로 활용하여 계층적 인코더를 훈련시켜 매우 이식 가능한 시각적 특징을 생성하는 새로운 방법인 Generative Hierarchical Features (GH-Feat)를 제안한다. 이 방법은 이미지 편집, 조화, 분류, 특징점 검출을 포함한 생성 및 판별 작업에서 최신 기술 수준의 성능을 달성하며, 기존의 GAN 기반 방법에 비해 재구성 품질과 특징 이식 가능성에서 뛰어나다.

ABSTRACT

Generative Adversarial Networks (GANs) have recently advanced image synthesis by learning the underlying distribution of the observed data. However, how the features learned from solving the task of image generation are applicable to other vision tasks remains seldom explored. In this work, we show that learning to synthesize images can bring remarkable hierarchical visual features that are generalizable across a wide range of applications. Specifically, we consider the pre-trained StyleGAN generator as a learned loss function and utilize its layer-wise representation to train a novel hierarchical encoder. The visual feature produced by our encoder, termed as Generative Hierarchical Feature (GH-Feat), has strong transferability to both generative and discriminative tasks, including image editing, image harmonization, image classification, face verification, landmark detection, and layout prediction. Extensive qualitative and quantitative experimental results demonstrate the appealing performance of GH-Feat.

연구 동기 및 목표

• GAN을 통해 이미지 생성 과정에서 학습된 특징들이 분류를 초월한 다양한 비전 작업에 효과적으로 재사용될 수 있는지 조사하는 것.
• 기존의 GAN 기반 특징들이 일반적으로 고수준의 분류 작업에 국한되어 있으며 계층적이고 이식 가능한 표현이 부족한 점을 해결하는 것.
• 사전 훈련된 StyleGAN 생성기의 계층별 특징과 일치하도록 설계된 계층적 인코더를 개발하여 향상된 특징 추출을 달성하는 것.
• 이러한 특징들이 생성 및 판별적 하류 작업 전반에 걸쳐 일반화 능력이 얼마나 우수한지 평가하는 것.

제안 방법

• 사전 훈련된 StyleGAN 생성기를 학습된 손실 함수로 간주하여, 인코더 훈련에서 기존의 재구성 손실을 대체한다.
• 계층적 인코더는 동일한 입력 이미지를 입력으로 넣었을 때 StyleGAN 생성기의 계층별 활성화와 일치하는 특징 맵을 생성하도록 훈련된다.
• 생성기의 가중치는 ImageNet에서 사전 훈련 후 고정된 상태에서 유지되며, 인코더 훈련에 대해 생성기의 적대적 및 인지적 지도 신호를 활용한다.
• 특징 추출은 인코더의 'res 5' 단계에서 수행되며, 이후 적응형 평균 풀링과 벡터화를 거쳐 하류 분류 작업에 활용된다.
• 생성기 내부 표현을 감독 신호로 사용함으로써 인코더의 엔드 투 엔드 훈련을 가능하게 한다.
• 이 방법은 이미지 재구성과 스타일 믹싱 모두를 지원하며, 콘텐츠와 스타일의 계층적 분리가 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GAN 생성기가 일반적인 시각적 특징 인코더를 훈련시키는 데 효과적인 학습된 손실 함수로 기능할 수 있는가?
• RQ2 이 방법을 통해 추출된 특징들이 생성 및 판별적 응용을 포함한 다양한 비전 작업 간 얼마나 잘 이식되는가?
• RQ3 이 방법의 계층적 인코더 아키텍처는 기존 방법 대비 스타일 전이 과정에서 정체성과 텍스처를 얼마나 잘 유지하는가?
• RQ4 사전 훈련된 생성기를 재사용하는 것이, 생성기와 인코더를 함께 처음부터 훈련하는 것보다 성능과 효율성 면에서 더 우수한가?

주요 결과

• GH-Feat는 ImageNet 이미지 재구성에서 Fréchet Inception Distance (FID) 18.48을 달성하여, 생성기와 인코더를 함께 처음부터 훈련하는 베이스라인 방법(46.20)보다 유의미하게 뛰어난 성능을 보였다.
• 이 방법은 평균 제곱 오차(MSE) 0.0464와 구조적 유사도(SSIM) 0.558을 기록하여 뛰어난 재구성 품질을 입증하였다.
• 스타일 믹싱 작업에서 GH-Feat는 특히 고수준 특징 믹싱에서 ALAE보다 정체성과 자세를 더 잘 유지하였다.
• 이미지 분류 과제에서 GH-Feat는 BigBiGAN과 같은 최신 기술 수준의 방법과 유사한 성능을 달성하였으며, 더 효율적이고 일반화 능력이 뛰어나다.
• 제거 실험을 통해 사전 훈련된 생성기를 재사용할 경우, 처음부터 함께 훈련하는 것보다 더 뛰어난 성능과 더 빠른 수렴 속도를 얻을 수 있음을 확인하였다.
• 계층적 특징은 얼굴 인식, 특징점 검출, 레이아웃 예측 등 다양한 작업에서 강력한 이식 가능성을 보이며, 이전의 GAN 기반 특징 학습 방법보다 일관되게 향상된 성능을 기록하였다.