[논문 리뷰] KG-GAN: Knowledge-Guided Generative Adversarial Networks

Che-Han Chang, Chun-Hsien Yu외 2명|arXiv (Cornell University)|2019. 05. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 7

한 줄 요약

KG-GAN는 도메인 지식을 제약 함수를 통해 통합함으로써 GAN의 다양성을 향상시키는 지식 기반 생성 대비 신경망을 제안한다. 이를 통해 학습된 카테고리에서 알려지지 않은 꽃 카테고리를 생성할 수 있으며, 오ックス포드 꽃 데이터셋에서 의미적 임베딩을 조건부 가이던스로 사용하여 볼 수 있는 카테고리에 대해 0.1385, 볼 수 없는 카테고리에 대해 0.1386의 SOTA FID 점수를 기록한다.

ABSTRACT

Can generative adversarial networks (GANs) generate roses of various colors given only roses of red petals as input? The answer is negative, since GANs' discriminator would reject all roses of unseen petal colors. In this study, we propose knowledge-guided GAN (KG-GAN) to fuse domain knowledge with the GAN framework. KG-GAN trains two generators; one learns from data whereas the other learns from knowledge with a constraint function. Experimental results demonstrate the effectiveness of KG-GAN in generating unseen flower categories from seen categories given textual descriptions of the unseen ones.

연구 동기 및 목표

• 학습 데이터가 기저 분포를 완전히 커버하지 못할 경우 GAN이 알려지지 않은 카테고리의 데이터를 생성하는 데에 한계가 있다는 문제를 해결하기 위해.
• 학습 데이터를 초월해 도메인 지식을 탐색 가이드로 삼아 GAN의 다양성을 향상시키기 위해.
• 지식 기반 제약 조건을 사용해 생성을 의미적으로 타당한 영역으로 제한함으로써 생성 샘플의 타당성을 확보하기 위해.
• 이미지 생성에서 지식 기반 생성의 효과성을 제로샷 및 피크샷 설정에서 입증하기 위해.

제안 방법

• KG-GAN는 두 개의 생성자 G₁과 G₂를 훈련한다. G₁은 실재 데이터를 사용해 알려진 카테고리에서 학습하고, G₂는 지식 제약 조건을 사용해 알려지지 않은 카테고리를 생성한다.
• 도메인 지식는 깊이 있는 회귀 신경망을 사용해 이미지의 목표 카테고리의 의미적 임베딩을 예측하는 제약 함수로 형식화된다.
• 텍스트 기반 설명에서 유도된 의미적 임베딩은 생성을 가이던스하는 조건부 입력으로 사용되며, 알려진 카테고리와 알려지지 않은 카테고리 사이의 보간을 가능하게 한다.
• G₁과 G₂ 간에 공유된 가중치 전략을 적용하여 알려진 카테고리에서 알려지지 않은 카테고리로 지식을 전이한다.
• 손실 함수에는 생성된 이미지가 목표 카테고리의 의미 공간과 일치하도록 하는 스타일 임베딩 정규화 항(ℒse)이 포함되어 있다.
• 훈련 안정성을 위해 프로젝션 판별자와 스펙트럼 정규화를 사용하며, SN-GAN와 유사한 방식이다.

실험 결과

연구 질문

• RQ1 학습 데이터에 알려진 카테고리만 존재할 경우, GAN은 알려지지 않은 꽃 카테고리의 현실적인 이미지를 생성할 수 있는가?
• RQ2 어떻게 도메인 지식을 효과적으로 GAN에 통합하여 다양한, 현실적인, 의미적으로 타당한 샘플을 생성할 수 있는가?
• RQ3 일반적인 원-핫 레이블에 비해 의미적 임베딩에 조건을 주는 것이 생성 품질과 다양성에 향상 효과를 주는가?
• RQ4 지식 기반 생성은 모드 붕괴를 어느 정도 줄이고 기저 데이터 다양성의 커버리지를 향상시키는가?
• RQ5 의미적 임베딩 정규화 손실(ℒse)의 포함 여부가 생성된 이미지의 정밀도와 다양성에 어떤 영향을 미치는가?

주요 결과

• KG-GAN는 알려진 카테고리에 대해 0.1385, 알려지지 않은 카테고리에 대해 0.1386의 SOTA FID 점수를 기록하여 SN-GAN(0.6922 및 0.6201)을 크게 앞서는 성능을 보였다.
• 원-핫 인코딩에 비해 의미적 임베딩에 조건을 주는 것이 더 낮은 FID 점수를 기록함으로써, 구조화된 지식이 범주형 레이블보다 유리함을 입증하였다.
• ℒse를 제거한 아블레이션 실험에서도 양호한 성능(0.1412/0.1408)을 기록하여, 공유된 가중치를 통한 지식 전이가 합리적인 제로샷 생성을 가능하게 함을 시사하였다.
• 시각적 결과에서는 KG-GAN이 텍스트 기반 설명에 기반해 정확한 꽃의 색상을 생성하는 데 성공했지만, 형태나 구조적 세부 사항은 텍스트 기반 설명의 일관성이 떨어져 어려움을 겪었다.
• 카테고리당 800개의 fastText 벡터 평균화는 색상 정보를 잘 유지하지만, 구조적 및 형태 관련 특징은 흐릿해지며, 현재 지식 표현의 한계를 드러내었다.