[论文解读] Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting

Aditya Grover, Jiaming Song+5 more|arXiv (Cornell University)|Jun 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 62被引用 47

一句话总结

本论文引入了似然自由重要性权重（LFIW），通过训练一个概率分类器来估计密度比，以减少来自学习生成模型的期望偏差，从而改进偏差相关指标，并有助于数据增强和基于模型的离策略评估等应用。

ABSTRACT

A learned generative model often produces biased statistics relative to the underlying data distribution. A standard technique to correct this bias is importance sampling, where samples from the model are weighted by the likelihood ratio under model and true distributions. When the likelihood ratio is unknown, it can be estimated by training a probabilistic classifier to distinguish samples from the two distributions. We employ this likelihood-free importance weighting method to correct for the bias in generative models. We find that this technique consistently improves standard goodness-of-fit metrics for evaluating the sample quality of state-of-the-art deep generative models, suggesting reduced bias. Finally, we demonstrate its utility on representative applications in a) data augmentation for classification using generative adversarial networks, and b) model-based policy evaluation using off-policy data.

研究动机与目标

• 动机化并形式化对来自学习生成模型的期望值中偏差的存在。
• 提出一个似然自由重要性加权（LFIW）框架，以对蒙特罗估计进行偏差消除。
• 开发实用的变体（自归一化、扁平化、截断）以稳定权重。
• 展示在拟合优度指标和下游任务（数据增强、基于模型的离策略评估）方面的改进。
• 给出在何种理论条件下，所诱导的加权分布能够改善对数据分布的拟合程度。

提出的方法

• 在 p_theta 与 p_data 不同时时，对蒙特卡罗期望中的偏差进行公式化，并提出通过二分类器估计密度比的 LFIW。
• 训练一个经过校准的概率分类器以区分来自 p_theta 与 p_data 的样本；使用其输出计算权重 w_phi(x) = gamma * c_phi(x) / (1 - c_phi(x))。
• 使用估计的权重定义从偏倪到无偏的期望估计；并将自归一化、权重扁平化或截断作为变体应用。
• 构建与 p_theta(x) * w_phi(x) 成正比的加权重要性重采样生成模型 p_{theta,phi}，并通过采样-重要性-重采样（SIR）实现抽样。
• 推导基于 KL 散度的从 p_theta 到 p_{theta,phi} 的改进条件，并讨论实际估计与方差相关的考量。
• 应用于三种设定：CIFAR-10 的模型拟合优度（PixelCNN++、SNGAN）、Omniglot 数据增强用于多类分类，以及基于模型的离策略策略评估（MuJoCo）。

实验结果

研究问题

• RQ1 似然自由重要性加权是否可以降低来自学习生成模型的期望中的偏差？
• RQ2 LFIW 在标准生成模型评估指标以及数据增强和离策略策略评估等下游任务中的表现如何？
• RQ3 哪些实用变体（自归一化、扁平化、截断）在实际模型中能最好地稳定 LFIW？
• RQ4 在什么条件下，所诱导的加权分布实际上能改善对数据分布的拟合？
• RQ5 在具有挑战性的设定中，去偏估计能够接近真实的（未知的）模型性能程度有多近？

主要发现

• LFIW 在 CIFAR-10 的最先进深度生成模型（PixelCNN++ 和 SNGAN）的拟合优度指标中持续降低偏差，在偏差校正指标上显示出显著改进。
• 在 Omniglot 数据增强中，当对生成数据点进行加权时，分类准确率从 66.03% 提升到 68.18%。
• 在 MuJoCo 任务的基于模型的离策略策略评估中，LFIW 降低价值估计的 RMSE，并随着时域扩大提供更准确的策略评估。
• 自归一化的 LFIW 在大多数实验中提供了最佳的经验性能，在偏差减少与方差控制之间取得平衡。
• 该方法作为对生成模型的灵活黑箱包装，在下游推断上有所提升但并不能完全消除偏差，凸显了需要强大的分类器和充足数据。