[论文解读] Adversarial Learning of a Sampler Based on an Unnormalized Distribution

Chunyuan Li, Ke Bai+4 more|arXiv (Cornell University)|Jan 3, 2019

Image Processing Techniques and Applications被引用 7

一句话总结

本文提出了一种基于参考分布的对抗性采样方法（RAS），这是一种新型的基于生成对抗网络（GAN）的方法，可在无法获取真实分布 $p(x)$ 的样本时，仅从非归一化密度函数 $u(x)$ 中进行学习。通过利用一个参考分布 $p_r(x)$ 来估计似然比，RAS 实现了对抗性训练，并通过引入熵正则化提升了采样质量，在软 Q 学习基准测试中优于近似变分推断（amortized SVGD）。

ABSTRACT

We investigate adversarial learning in the case when only an unnormalized form of the density can be accessed, rather than samples. With insights so garnered, adversarial learning is extended to the case for which one has access to an unnormalized form u(x) of the target density function, but no samples. Further, new concepts in GAN regularization are developed, based on learning from samples or from u(x). The proposed method is compared to alternative approaches, with encouraging results demonstrated across a range of applications, including deep soft Q-learning.

研究动机与目标

• 解决仅能获取非归一化密度 $u(x)$ 而无法获得真实分布 $p(x)$ 样本时，训练生成模型的挑战。
• 将 GAN 扩展至仅通过 $u(x)$ 可访问 $p(x)$ 的场景，而无需直接样本，从而在强化学习与贝叶斯推断中拓展新应用。
• 提出一种基于熵的正则化策略，以在从 $u(x)$ 或样本中进行对抗性学习时提升样本质量。
• 在复杂且高维的任务（如连续控制环境中的软 Q 学习）中，验证 RAS 的有效性。

提出的方法

• RAS 通过使用 $u(x)$ 和一个易于采样且近似 $q_\theta(x)$ 的参考分布 $p_r(x)$，来估计似然比 $p(x)/q_\theta(x)$，从而构建对抗性学习框架。
• 借鉴 $f$-GAN 的思想，证明通过 $u(x)$ 估计 $g_0(p(x)/q_\theta(x))$ 可实现有效的 GAN 训练，而无需直接访问 $p(x)$。
• 利用参考分布 $p_r(x)$ 构建判别器的代理目标函数，使生成器能够通过 $\epsilon \sim q_0$ 学习 $x = h_\theta(\epsilon)$。
• 引入熵正则化以提升样本的多样性与质量，并与模拟退火及 GAN 中的循环一致性建立理论联系。
• 在受限域中，采用 Beta 分布作为参考，以更好地建模强化学习中受约束的动作空间。
• 在软 Q 学习中应用该方法，通过用 RAS 替代近似变分推断（amortized SVGD），以 $u(a|s)$ 作为非归一化策略密度。

实验结果

研究问题

• RQ1 当仅能获取非归一化密度 $u(x)$ 而无法获得 $p(x)$ 的样本时，能否有效扩展对抗性学习？
• RQ2 当 $p(x)$ 为非归一化时，如何利用参考分布 $p_r(x)$ 来估计似然比 $p(x)/q_\theta(x)$？
• RQ3 熵正则化在从 $u(x)$ 或样本中进行对抗性训练时，对提升样本质量起到了何种作用？
• RQ4 在连续控制的强化学习中，RAS 与近似变分推断（amortized SVGD）相比，其在学习随机策略方面的表现如何？
• RQ5 RAS 是否可推广至受限域，如深度强化学习中的有界动作空间？

主要发现

• 在 MuJoCo 的六个环境中的四个（包括 21 维的 Humanoid 任务）中，RAS 在软 Q 学习中显著优于近似变分推断（amortized SVGD），在训练速度和最终性能上均表现更优。
• 在 Hopper、Half-cheetah、Ant 和 Walker 任务中，RAS 实现了比基于 SVGD 的方法更高的平均回报与更快的收敛速度。
• 在 Swimmer 和 Humanoid 任务中，RAS 达到了与近似变分推断（amortized SVGD）相当或更优的性能，表明其在不同动作空间维度下的鲁棒性。
• 熵正则化显著提升了样本的多样性与质量，且与模拟退火和 GAN 中的循环一致性存在理论关联。
• 通过使用 Beta 分布参考，RAS 在受限域中实现了对非归一化分布的有效采样，避免了 SVGD 中常见的模式崩溃与边界违规问题。
• 该方法超越了推断任务，首次实现了强化学习中通用的对抗性策略学习算法。