[논문 리뷰] Spatial Frequency Bias in Convolutional Generative Adversarial Networks

Mahyar Khayatkhoei, Ahmed Elgammal|arXiv (Cornell University)|2020. 10. 04.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 학습 데이터에서 뚜렷하게 나타나는 고주파 성분조차도 학습이 어려워지게 하는 컨volution GANs 내부의 체계적 공간 주파수 편향을 규명한다. 이 편향을 최소한의 계산 비용으로 제어할 수 있는 주파수 공간 기울기(FSG) 방법을 제안하며, 아키텍처나 학습 동역학을 변경하지 않고도 고주파 성분에 대한 GAN 성능을 크게 향상시킨다.

ABSTRACT

As the success of Generative Adversarial Networks (GANs) on natural images quickly propels them into various real-life applications across different domains, it becomes more and more important to clearly understand their limitations. Specifically, understanding GANs' capability across the full spectrum of spatial frequencies, i.e. beyond the low-frequency dominant spectrum of natural images, is critical for assessing the reliability of GAN generated data in any detail-sensitive application (e.g. denoising, filling and super-resolution in medical and satellite images). In this paper, we show that the ability of convolutional GANs to learn a distribution is significantly affected by the spatial frequency of the underlying carrier signal, that is, GANs have a bias against learning high spatial frequencies. Crucially, we show that this bias is not merely a result of the scarcity of high frequencies in natural images, rather, it is a systemic bias hindering the learning of high frequencies regardless of their prominence in a dataset. Furthermore, we explain why large-scale GANs' ability to generate fine details on natural images does not exclude them from the adverse effects of this bias. Finally, we propose a method for manipulating this bias with minimal computational overhead. This method can be used to explicitly direct computational resources towards any specific spatial frequency of interest in a dataset, extending the flexibility of GANs.

연구 동기 및 목표

• 컨volutional GANs가 데이터 분포와 무관하게 고공간 주파수 학습에 체계적인 편향을 보이는지 조사하는 것.
• 이 편향이 자료 부족 때문이 아니라 컨벌루션 필터 스펙트럼 내 임베디드된 선형 의존성 때문임을 입증하는 것.
• GANs 내 공간 주파수 편향을 명시적으로 제어할 수 있는 방법을 개발하여 고주파 세부 정보 학습 성능을 향상시키는 것.
• 세부 정보를 생성할 수 있는 대규모 GANs조차도 고주파 학습에서 이 편향으로 인해 여전히 제한됨을 보여주는 것.
• 다양한 주파수 대역에서 GAN 성능을 평가할 수 있는 스펙트럼 해상도 지표를 제공하는 것.

제안 방법

• 생성자의 손실에 주파수 특화 기울기를 주입하여 계산적 집중을 원하는 공간 주파수로 이동시키는 주파수 공간 기울기(FSG) 방법을 제안한다.
• 주파수 도메인에서 이미지 패치의 특징 기반 비교를 바탕으로 한 스펙트럼 해상도 지표를 도입하여, 다양한 주파수 대역에서 GAN 성능 평가가 가능하게 한다.
• 컨벌루션 필터 스펙트럼이 선형 의존성을 보이며 고주파보다 저주파를 우선시하는 것이 수학적으로 증명된 정리(정리 1)를 유도한다.
• 이미지 특징을 분해하고 다양한 주파수 수준에서 GAN 성능을 평가하기 위해 라플라시안 피라미드 기반 분석을 활용한다.
• 자연 이미지에서 흔치 않은 고주파 성분을 포함하고 있어 편향을 고립하고 시연할 수 있는 프랙탈 기반 데이터셋(Koch 눈꽃)을 사용한다.
• FSG 방법을 학습 중에 적용하여 고주파 성분 학습을 명시적으로 향상시키며, 파wer 스펙트럼 비교 및 지각적 지표를 통해 검증한다.

실험 결과

연구 질문

• RQ1 고주파 성분이 데이터에 풍부한 경우에도 컨벌루션 GAN의 성능이 다양한 공간 주파수 간에 유의미하게 다를까?
• RQ2 관측된 고주파 학습 편향은 자료 부족 때문이 아니라 컨벌루션 네트워크 아키텍처의 본질적 특성 때문일까?
• RQ3 GANs 내 공간 주파수 편향을 체계적으로 조작하여 고주파 성분 학습을 향상시킬 수 있을까?
• RQ4 대규모 GANs가 미세한 질감을 생성할 수 있음에도 불구하고 고주파 세부 정보 처리에 여전히 어려움을 겪는 이유는 무엇일까?
• RQ5 판별기의 고주파 오차 탐지 능력이 GAN 학습의 불안정성에 어느 정도 기여하는가?

주요 결과

• 프랙탈 기반 데이터셋(고주파 성분이 풍부함)을 통해, 학습 데이터에서 고주파 성분이 지배적임에도 불구하고 컨벌루션 GANs가 고주파 학습에 체계적인 편향을 보임을 입증하였다.
• 이 편향은 컨벌루션 필터 스펙트럼 내 선형 의존성에서 기인하며, 이는 정리 1에서 수학적으로 정립되었다.
• 세부 정보 생성에 성공한 대규모 GANs인 StyleGAN2 역시 고주파 성능에서 여전히 열등하며, 이는 최첨단 모델에서도 이 편향이 지속됨을 시사한다.
• 제안된 FSG 방법은 최소한의 계산 오버헤드로 고주파 학습을 성공적으로 향상시켰으며, 생성된 이미지의 파워 스펙트럼 일치도 향상되었다.
• FSG 방법은 학습 집중을 원하는 주파수 대역을 명시적으로 제어할 수 있어, 세부 정보에 민감한 응용 분야에서 GAN의 유연성을 높였다.
• 연구 결과 판별기는 생성자보다 이 편향에 덜 영향을 받는 것으로 드러나, GAN 학습의 불안정성의 잠재적 원인이 될 수 있음을 밝혔다.