[論文レビュー] On Relativistic $f$-Divergences

Alexia Jolicoeur‐Martineau|arXiv (Cornell University)|Jan 8, 2019

Advanced Image Processing Techniques参考文献 20被引用数 6

ひとこと要約

本稿は、任意の下に凹である関数 f に対して、f(0)=0、f'(0)≠0、sup f(x)>0 を満たす最小限の条件下で、識別器の目的関数が統計的発散度として有効であることを厳密に証明することで、相対的生成対抗ネットワーク（RGANs）が相対的 f-発散度に基づいていることを確立している。Wasserstein 距離は f-発散度よりも弱く、f-発散度は相対的 f-発散度よりも弱いというトップロジカルな順序関係を示し、RGANs の成功は弱い距離計測に起因するのではなく、相対的識別と正則化に起因していることを示唆している。また、推定器の分析において、RpGANs の不偏推定器は性能を劣化させ、RaGANs の有限標本バイアスは小さく、これを除去しても利益がないことが判明した。

ABSTRACT

This paper provides a more rigorous look at Relativistic Generative Adversarial Networks (RGANs). We prove that the objective function of the discriminator is a statistical divergence for any concave function $f$ with minimal properties ($f(0)=0$, $f'(0) eq 0$, $\sup_x f(x)>0$). We also devise a few variants of relativistic $f$-divergences. Wasserstein GAN was originally justified by the idea that the Wasserstein distance (WD) is most sensible because it is weak (i.e., it induces a weak topology). We show that the WD is weaker than $f$-divergences which are weaker than relativistic $f$-divergences. Given the good performance of RGANs, this suggests that WGAN does not performs well primarily because of the weak metric, but rather because of regularization and the use of a relativistic discriminator. We also take a closer look at estimators of relativistic $f$-divergences. We introduce the minimum-variance unbiased estimator (MVUE) for Relativistic paired GANs (RpGANs; originally called RGANs which could bring confusion) and show that it does not perform better. Furthermore, we show that the estimator of Relativistic average GANs (RaGANs) is only asymptotically unbiased, but that the finite-sample bias is small. Removing this bias does not improve performance.

研究の動機と目的

• RGAN の識別器の目的関数が、任意の下に凹である関数 f に対して、f(0)=0、f'(0)≠0、sup f(x)>0 を満たす条件下で、有効な統計的発散度（具体的には相対的 f-発散度）であることを厳密に確立すること。
• RGANs の優れた性能が、Wasserstein 距離の弱い位相的性質に起因するのか、それとも相対的識別と正則化に起因するのかを調査すること。
• 相対的 f-発散度の推定器を分析・比較し、特に RpGANs の最小分散不偏推定器（MVUE）と RaGANs の有限標本バイアスを検討すること。
• 相対的 f-発散度の新たな変種を提案・形式化し、RpGANs と RaGANs の違いを明確にすること。

提案手法

• 任意の下に凹である関数 f に対して、f(0)=0、f'(0)≠0、sup f(x)>0 を満たす条件下で、RGAN の識別器の目的関数が相対的 f-発散度に対応することを証明すること。
• ペアド比較と平均化された実・偽比較に基づいて、主な2つの変種である相対的ペアド GAN（RpGANs）と相対的平均 GAN（RaGANs）を定義・形式化すること。
• 統計的発散度のトップロジカル順序を用いて、Wasserstein 距離が f-発散度よりも弱く、f-発散度が相対的 f-発散度よりも弱いことを示し、トップロジカルな順序関係を提示すること。
• RpGANs の最小分散不偏推定器（MVUE）を導出し、オリジナルの推定器と性能を比較すること。
• RaGANs の推定器における有限標本バイアスを分析し、バイアス補正が生成器の性能を向上させないことを示すこと。
• 理論的分析とモーメントに基づく導出を用いて、LSGAN および HingeGAN の変種に対してガウス分布の仮定の下でバイアスと発散度の式を計算すること。

実験結果

リサーチクエスチョン

• RQ1 RGAN の識別器の目的関数は、数学的に有効な統計的発散度として成立するか？
• RQ2 RGANs の優れた性能は、Wasserstein 距離の弱い位相的性質に起因するのか、それとも相対的識別と正則化に起因するのか？
• RQ3 RpGANs に対して最小分散不偏推定器（MVUE）を用いることで、標準推定器よりも生成器の性能が向上するか？
• RQ4 RaGANs の推定器における有限標本バイアスは顕著であり、バイアス補正が訓練の安定性やサンプル品質を向上させるのか？
• RQ5 Wasserstein 距離、f-発散度、相対的 f-発散度のトップロジカルな強さはどのように比較できるか？

主な発見

• RGAN の識別器の目的関数が、f(0)=0、f'(0)≠0、sup f(x)>0 を満たす任意の下に凹である関数 f に対して、有効な統計的発散度（具体的には相対的 f-発散度）であることが証明された。
• Wasserstein 距離は f-発散度よりも弱く、f-発散度は相対的 f-発散度よりも弱いというトップロジカルな順序関係が成立しており、WGAN の成功が弱い距離計測に起因するのではなく、相対的識別と正則化に起因することを示唆している。
• RpGANs に対して最小分散不偏推定器（MVUE）を用いることで、生成器の性能が劣化することが判明した。これは、元のバイアス付き推定器が暗黙の正則化効果を有している可能性を示唆している。
• RaGANs の推定器における有限標本バイアスは小さく、性能に悪影響を及げない。バイアスを除去しても利益が得られないことから、実用上はバイアスが大きな問題ではないことが示された。
• 本研究では、RcLSGAN、RaLSGAN、RaHingeGAN などの相対的 f-発散度の新たな変種を形式化し、ガウス分布の仮定の下でそれらの閉形式表現を導出した。
• 分析により、相対的識別器の構造が、弱い距離計測ではなく、RGANs の訓練安定性とサンプル品質の向上の鍵であることが明らかになった。