[논문 리뷰] Improving GAN Equilibrium by Raising Spatial Awareness

Jianyuan Wang, Ceyuan Yang외 4명|arXiv (Cornell University)|2021. 12. 01.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN) 훈련의 균형을 향상시키기 위해 생성자(generator)의 공간 인식 능력을 향상시켜 판별자(discriminator)와의 주의(attention) 정렬을 학습하는 EqGAN-SA 방법을 제안한다. 다중 수준의 공간 히트맵을 주입하고, 판별자의 GradCAM 기반 주의를 기반으로 이를 정렬함으로써 정보 비대칭을 감소시켜 더 나은 이미지 합성 품질을 달성한다. 이는 FFHQ 데이터셋에서 FID 점수가 3.66(기준선 대비)에서 2.96로 향상되며, 히트맵 조작을 통한 상호작용형 편집 기능을 제공함으로써 입증된다.

ABSTRACT

The success of Generative Adversarial Networks (GANs) is largely built upon the adversarial training between a generator (G) and a discriminator (D). They are expected to reach a certain equilibrium where D cannot distinguish the generated images from the real ones. However, such an equilibrium is rarely achieved in practical GAN training, instead, D almost always surpasses G. We attribute one of its sources to the information asymmetry between D and G. We observe that D learns its own visual attention when determining whether an image is real or fake, but G has no explicit clue on which regions to focus on for a particular synthesis. To alleviate the issue of D dominating the competition in GANs, we aim to raise the spatial awareness of G. Randomly sampled multi-level heatmaps are encoded into the intermediate layers of G as an inductive bias. Thus G can purposefully improve the synthesis of certain image regions. We further propose to align the spatial awareness of G with the attention map induced from D. Through this way we effectively lessen the information gap between D and G. Extensive results show that our method pushes the two-player game in GANs closer to the equilibrium, leading to a better synthesis performance. As a byproduct, the introduced spatial awareness facilitates interactive editing over the output synthesis. Demo video and code are available at https://genforce.github.io/eqgan-sa/.

연구 동기 및 목표

• 모델 수렴에도 불구하고 판별자가 생성자보다 항상 우세한 GAN 훈련의 지속적인 비균형 문제를 해결하기 위해.
• 이 균형 붕괴의 근본 원인을 분석하여, 생성자와 판별자 간의 공간 인식 능력에서의 정보 비대칭이 핵심 요인임을 규명하기 위해.
• 판별자의 주의에 대응하는 명시적인 공간 인식 능력을 생성자에 부여하여 합성 품질을 향상시키기 위해.
• 생성자에 입력되는 공간 히트맵을 조작함으로써 상호작용형 이미지 편집을 가능하게 하기 위해.

제안 방법

• 생성기의 중간 레이어에 다중 수준의 공간 히트맵을 무작위로 샘플링하여 유도적 편향(inductive bias)으로 주입하기 위해 공간 인코딩 레이어(SEL)를 활용하는 것.
• 훈련 중 생성된 이미지에 대해 판별자로부터 GradCAM을 사용해 주의 맵을 추출하는 것.
• 정보 비대칭을 줄이기 위해 생성자의 공간 인식 능력을 판별자의 주의 맵과 정렬하기 위해 감독 손실을 사용하는 것.
• StyleGAN2의 굵기에서 세밀함으로의 합성 과정을 반영한 계층적 히트맵 샘플링 전략을 도입하는 것.
• 판별자 아키텍처를 수정하지 않고 생성자 네트워크에 공간 인코딩과 주의 정렬을 통합하는 것.
• 지역적 합성 정밀도 향상을 위해 생성자를 적대적 손실과 공간 정렬 손실 모두로 훈련하는 것.

실험 결과

연구 질문

• RQ1 모델 수렴 상태임에도 불구하고 GAN 훈련에서 판별자가 항상 생성자보다 뛰어나게 성능을 내는 이유는 무엇인가?
• RQ2 판별자의 자체 학습된 시각적 주의가 적대적 게임에서의 지배적 위치를 어떻게 강화하는가?
• RQ3 생성자의 공간 인식 능력을 향상시키면 생성자와 판별자 간의 정보 비대칭을 줄일 수 있는가?
• RQ4 생성자의 주의를 판별자의 주의와 정렬함으로써 GAN 균형과 합성 품질이 얼마나 향상되는가?
• RQ5 공간 인식 능력을 갖춘 생성자는 히트맵 조작을 통해 상호작용형 이미지 편집을 지원할 수 있는가?

주요 결과

• Figure 1의 손실 곡선을 통해 EqGAN-SA가 진짜 이미지와 생성된 이미지의 판별자 점수 간 격차를 줄여 GAN 게임의 균형에 더 가까이 다가가도록 함을 확인하였다.
• 256×256 해상도의 FFHQ 데이터셋에서, 이 방법은 FID 점수를 기준선인 StyleGAN2의 3.66에서 2.96으로 향상시켜 품질 향상이 뚜렷하게 나타남.
• 노이즈나 열악한 생성 결과가 존재하는 상황에서도 판별자의 주의 맵이 안정적이고 일관되게 유지되어, 이들이 신뢰할 수 있는 감독 신호임을 입증함.
• 히트맵을 통한 공간 인식 능력 덕분에 사용자는 입력 히트맵을 조작하여 출력 합성 결과를 수정할 수 있는 상호작용형 편집이 가능해짐.
• 모델 용량을 증가시키지 않아도 합성 품질 향상이 가능하여, 정보 비대칭이 GAN 훈련의 핵심적 제약 요소임을 시사함.
• 공간 인코딩 연산은 가끔 히트맵 경계에서 블러링 현상을 유발하여 구현 시 약간의 상충 관계가 있음을 나타냄.