[논문 리뷰] On Relativistic $f$-Divergences

Alexia Jolicoeur‐Martineau|arXiv (Cornell University)|2019. 01. 08.

Advanced Image Processing Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 어떤 오목한 f 함수에 대해 f(0)=0, f'(0)≠0, sup f(x)>0 를 만족할 때, 판별기의 목적 함수가 유효한 통계적 발산인 상대성 f-발산임을 엄밀히 증명함으로써, 상대성 생성 대립 네트워크(RGANs)가 타당한 통계적 발산에 기반하고 있음을 밝혀낸다. 워샤르스키 거리가 f-발산보다 더 약한 반면, f-발산은 상대성 f-발산보다 더 약한 것으로 나타나, RGANs의 성공은 약한 거리 척도 때문이 아니라 상대성 대립과 정규화 때문임을 시사한다. 또한 추정기 분석을 통해 RpGANs에 대해 비편향 추정기는 성능을 떨어뜨리며, RaGANs의 유한 표본 편향은 작고, 이를 제거해도 성능 향상이 없음을 확인하였다.

ABSTRACT

This paper provides a more rigorous look at Relativistic Generative Adversarial Networks (RGANs). We prove that the objective function of the discriminator is a statistical divergence for any concave function $f$ with minimal properties ($f(0)=0$, $f'(0) eq 0$, $\sup_x f(x)>0$). We also devise a few variants of relativistic $f$-divergences. Wasserstein GAN was originally justified by the idea that the Wasserstein distance (WD) is most sensible because it is weak (i.e., it induces a weak topology). We show that the WD is weaker than $f$-divergences which are weaker than relativistic $f$-divergences. Given the good performance of RGANs, this suggests that WGAN does not performs well primarily because of the weak metric, but rather because of regularization and the use of a relativistic discriminator. We also take a closer look at estimators of relativistic $f$-divergences. We introduce the minimum-variance unbiased estimator (MVUE) for Relativistic paired GANs (RpGANs; originally called RGANs which could bring confusion) and show that it does not perform better. Furthermore, we show that the estimator of Relativistic average GANs (RaGANs) is only asymptotically unbiased, but that the finite-sample bias is small. Removing this bias does not improve performance.

연구 동기 및 목표

• RGAN 판별기의 목적 함수가 유효한 통계적 발산, 특히 상대성 f-발산임을 엄밀히 입증하는 것.
• RGANs의 뛰어난 성능이 워샤르스키 거리의 약한 위상 구조 때문인지, 상대성 대립과 정규화 때문인지 조사하는 것.
• 상대성 f-발산의 추정기들을 분석하고 비교하는 것—특히 RpGANs의 최소분산 비편향 추정기(MVUE)와 RaGANs의 유한 표본 편향을 중심으로.
• 새로운 상대성 f-발산 변형을 제안하고 체계화하며, RpGANs와 RaGANs 간의 차이를 명확히 하는 것.

제안 방법

• 모든 오목한 f 함수에 대해 f(0)=0, f'(0)≠0, sup f(x)>0 를 만족할 때, RGAN 판별기의 목적 함수가 상대성 f-발산과 대응됨을 증명한다.
• 쌍체 비교 기반의 상대성 페어드 GANs(RpGANs)와 평균 비교 기반의 상대성 평균 GANs(RaGANs)라는 두 주요 변형을 정의하고 체계화한다.
• 통계적 발산의 위상 순서를 사용하여, 워샤르스키 거리가 f-발산보다 더 약하고, f-발산이 상대성 f-발산보다 더 약한 것을 보여, 상대성 발산의 위상 강도를 입증한다.
• RpGANs의 최소분산 비편향 추정기(MVUE)를 유도하고, 원래 추정기와의 성능를 비교한다.
• RaGANs의 추정기에서 발생하는 유한 표본 편향을 분석하고, 이 편향을 제거해도 생성기 성능 향상이 없음을 보여준다.
• 이론적 분석과 모멘트 기반 유도를 통해, LSGAN 및 히징GAN 변형에 대해 가우시안 가정 하에 편향과 발산 표현식을 계산한다.

실험 결과

연구 질문

• RQ1 RGAN 판별기의 목적 함수는 수학적으로 타당한 통계적 발산인가?
• RQ2 RGANs의 뛰어난 성능은 워샤르스키 거리의 약한 위상 구조 때문인가, 상대성 대립과 정규화 때문인가?
• RQ3 RpGANs에 대해 최소분산 비편향 추정기(MVUE)를 사용하면 표준 추정기보다 생성기 성능이 향상되는가?
• RQ4 RaGANs의 추정기에서 유한 표본 편향은 유의미한가? 그리고 편향 보정은 훈련 안정성이나 샘플 품질 향상에 기여하는가?
• RQ5 워샤르스키 거리, f-발산, 상대성 f-발산의 위상 강도는 어떻게 비교되는가?

주요 결과

• RGAN 판별기의 목적 함수는 f(0)=0, f'(0)≠0, sup f(x)>0 를 만족하는 모든 오목한 f 함수에 대해 유효한 통계적 발산—즉, 상대성 f-발산임을 엄밀히 증명하였다.
• 워샤르스키 거리는 f-발산보다 위상적으로 더 약하고, f-발산은 상대성 f-발산보다 더 약한 것으로 나타나, WGAN의 성공을 약한 척도만으로 설명할 수 없음을 시사한다.
• RpGANs에 대해 최소분산 비편향 추정기(MVUE)를 사용할 경우 생성기 성능이 악화되며, 이는 원래의 편향이 있는 추정기가 암묵적 정규화 효과를 제공하므로 바람직할 수 있음을 시사한다.
• RaGANs의 추정기에서 발생하는 유한 표본 편향은 작고 성능 저하를 유발하지 않으며, 이 편향을 제거해도 성능 향상이 없어, 실질적으로 큰 문제로 작용하지 않는다는 점을 확인하였다.
• 이 연구는 RcLSGAN, RaLSGAN, RaHingeGAN 등의 새로운 상대성 f-발산 변형을 체계화하고, 가우시안 가정 하에 그 닫힌 형태 표현식을 도출하였다.
• 분석 결과, 상대성 판별기의 구조가 워샤르스키 거리의 약한 척도보다 훨씬 더 중요한 요소로 작용하며, 이는 RGANs의 훈련 안정성 향상과 샘플 품질 향상의 핵심 요인임을 입증하였다.