[논문 리뷰] On Noise Injection in Generative Adversarial Networks

Ruili Feng, Deli Zhao외 1명|arXiv (Cornell University)|2020. 06. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 4

한 줄 요약

이 논문은 리만 다양체 이론을 기반으로 한 기하학적 프레임워크를 제안하여, 노이즈 주입이 GAN의 생성기 표현력 향상에 어떻게 기여하는지 설명한다. 노이즈 주입을 지수 사상으로 모델링함으로써, 저위계수 야코비안 행렬에 의해 유도되는 '적대적 차원 함정'을 극복함으로써 이미지의 정밀도와 안정성이 향상됨을 입증하였으며, 이는 StyleGAN2에서 FID 및 PPL 점수 향상으로 확인되었다.

ABSTRACT

Noise injection has been proved to be one of the key technique advances in generating high-fidelity images. Despite its successful usage in GANs, the mechanism of its validity is still unclear. In this paper, we propose a geometric framework to theoretically analyze the role of noise injection in GANs. Based on Riemannian geometry, we successfully model the noise injection framework as fuzzy equivalence on the geodesic normal coordinates. Guided by our theories, we find that the existing method is incomplete and a new strategy for noise injection is devised. Experiments on image generation and GAN inversion demonstrate the superiority of our method.

연구 동기 및 목표

• 생성기의 깊이 증가 과정에서 야코비안 행렬의 랭크 감소로 인해 발생하는 GAN 생성기 내부의 제약 조건을 규명하고 수학적으로 기술하는 것.
• 노이즈 주입이 왜 이 제약 조건을 효과적으로 완화하고 GAN에서 생성기 표현력을 향상시키는지 설명하는 것.
• StyleGAN에서 사용된 유클리드 수식을 초월하여 일반화된 기하학적으로 타당한 노이즈 주입 방법을 개발하는 것.
• 이론적 프레임워크를 이미지 생성 및 GAN 역전환 실험을 통해 검증하여 성능 지표 향상을 입증하는 것.

제안 방법

• 저자들은 노이즈 주입을 지수 사상으로 모델링함으로써, 유클리드 기반의 노이즈 주입 메커니즘을 비유클리드로 일반화할 수 있는 기하학적 프레임워크를 도입한다.
• 그들은 생성기의 표현력이 야코비안 행렬의 단조 감소하는 랭크로 인해 제한되는 '적대적 차원 함정'을 GAN의 근본적인 문제로 규명한다.
• 리만 지수 사상 기반으로 새로운 노이즈 주입 수식을 유도하였으며, 이는 StyleGAN의 표준 유클리드 노이즈 주입을 임의의 다양체로 일반화한다.
• 기존의 StyleGAN에서의 표준 노이즈 주입은 평탄한 기하학 하에서 제안된 리만 노이즈 주입(RNI) 프레임워크의 특수한 경우로 재해석된다.
• 프레임워크는 경로 길이 정규화 및 조건수 분석을 포함하여 GAN의 수치적 안정성과 역행성 평가를 가능하게 한다.
• 실험은 FFHQ 및 LSUN-Church 데이터셋을 대상으로 FID, PPL, 조건수 지표를 사용하여 수행되었으며, 기준 모델 및 StyleGAN2 대비 우수한 성능을 입증하였다.

실험 결과

연구 질문

• RQ1 왜 노이즈 주입이 최신 GAN 모델인 StyleGAN과 같은 곳에서 이미지 품질과 학습 안정성을 크게 향상시키는가?
• RQ2 노이즈 주입이 GAN에서 생성기 표현력을 향상시키는 데 기여하는 기하학적 메커니즘은 무엇인가?
• RQ3 생성기의 야코비안 행렬의 랭크 부족은 복잡한 데이터 다양체를 모델링하는 데 어떤 제약을 초래하는가?
• RQ4 노이즈 주입은 유클리드 설정을 초월하여 GAN의 특징 공간의 내재 기하학을 더 잘 반영할 수 있도록 일반화될 수 있는가?
• RQ5 제안된 리만 노이즈 주입 프레임워크는 이미지 정밀도, 수치적 안정성, GAN 역전환 품질 측면에서 측정 가능한 향상을 이끌어내는가?

주요 결과

• GAN에서 생성기의 표현력은 깊이 증가에 따라 단조 감소하는 야코비안 행렬의 랭크로 인해 본질적으로 제한되며, 이는 '적대적 차원 함정'으로 이어진다.
• 노이즈 주입은 생성기 출력 다양체의 효과적 차원을 증가시킴으로써 이 제약 조건을 효과적으로 보완하여 표현력과 일반화 능력을 향상시킨다.
• 제안된 리만 노이즈 주입(RNI) 프레임워크는 StyleGAN의 표준 노이즈 주입을 비유클리드 기하로 일반화하여 더 타당하고 융통성 있는 수식을 제공한다.
• FFHQ 데이터셋에서 제안된 RNI 방법은 프리셰트 인ception 거리(FID) 6.31과 퍼프레셰트 특징 거리(PPL) 0.530을 기록하여, StyleGAN2(FID: 6.31, PPL: 0.530) 및 기타 기준 모델을 초월하는 성능을 보였다.
• 조건수 분석 결과 RNI는 수치적 안정성을 크게 향상시켰으며, 평균 조건수 0.530 및 상위 1000개 평균 조건수 1.05를 기록하여 더 뛰어난 내구성을 보였다.
• GAN 역전환 작업에서 제안된 방법은 도전적인 비면대칭, 비면 또는 가림이 있는 얼굴에서도 뛰어난 성능을 보였으며, 잠재 공간의 제어 가능성과 임bedding 능력 향상을 입증하였다.