[论文解读] AR-DAE: Towards Unbiased Neural Entropy Gradient Estimation

Jae Hyun Lim, Aaron Courville+2 more|arXiv (Cornell University)|Jun 9, 2020

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出 AR-DAE，一种条件去噪自编码器，可学习估计非平稳分布中对数密度的梯度，实现无偏的熵梯度估计。通过在训练过程中对不同噪声水平进行条件化，并在 σ=0 时进行推理，AR-DAE 实现了渐近无偏的梯度估计，从而在变分自编码器和连续控制中的软演员评论家方法中实现了最先进性能。

ABSTRACT

Entropy is ubiquitous in machine learning, but it is in general intractable to compute the entropy of the distribution of an arbitrary continuous random variable. In this paper, we propose the amortized residual denoising autoencoder (AR-DAE) to approximate the gradient of the log density function, which can be used to estimate the gradient of entropy. Amortization allows us to significantly reduce the error of the gradient approximator by approaching asymptotic optimality of a regular DAE, in which case the estimation is in theory unbiased. We conduct theoretical and experimental analyses on the approximation error of the proposed method, as well as extensive studies on heuristics to ensure its robustness. Finally, using the proposed gradient approximator to estimate the gradient of entropy, we demonstrate state-of-the-art performance on density estimation with variational autoencoders and continuous control with soft actor-critic.

研究动机与目标

• 解决隐式生成模型在非平稳数据分布下熵的无偏梯度估计挑战。
• 解决小噪声水平（需实现渐近偏差减少）与去噪自编码器中训练信号消失之间的权衡。
• 开发一种在推理时可泛化至 σ=0 的方法，同时在噪声水平分布上进行训练。
• 在复杂结构化模型（如 VAE 和 SAC）中实现熵最大化/最小化的随机反向传播。
• 通过提供准确且低偏差的熵梯度估计，提升密度估计和连续控制的性能。

提出的方法

• 提出一种近似残差去噪自编码器（AR-DAE），在训练时对噪声水平 σ 进行条件化，并在推理时预测 σ=0 处的对数密度梯度。
• 采用残差结构，将去噪函数建模为残差连接，提升训练稳定性和泛化能力。
• 使用以 σ 为输入的条件去噪自编码器，使模型能够学习连续函数并泛化至 σ=0。
• 通过路径导数计算熵梯度，应用估计的对数密度梯度实现熵目标的反向传播。
• 在噪声水平分布上训练 AR-DAE，以避免梯度消失，同时在 σ→0 时收敛至真实的对数密度梯度。
• 采用多尺度训练策略，使用不同 σ 值，提升对 σ=0 的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 能否训练去噪自编码器使其在避免优化过程中梯度消失的同时，泛化至 σ=0？
• RQ2 与标准 DAE 相比，对 σ 的近似条件化是否能实现更好的泛化能力和更低的近似误差，用于熵梯度估计？
• RQ3 AR-DAE 是否能在非平稳、隐式密度模型中提供无偏的熵梯度估计？
• RQ4 AR-DAE 如何提升变分自编码器在密度估计和软演员评论家在连续控制中的性能？
• RQ5 哪些超参数选择和网络架构设计可实现鲁棒且精确的熵梯度估计？

主要发现

• 在多个数据集上，AR-DAE 相较于基线 DAE 及其他基线方法，在对数密度梯度估计中表现出显著更低的近似误差。
• 该方法在使用变分自编码器进行动态和静态二值化 MNIST 的密度估计任务中实现了最先进性能。
• 在连续控制任务中，AR-DAE 提升了软演员评论家方法的样本效率和最终性能，尤其在 HalfCheetah 和 Ant 等环境中表现突出。
• 消融实验表明，在 σ 值分布上进行训练可提升对 σ=0 的泛化能力，降低最终梯度估计的偏差。
• 使用残差连接和适当的归一化（如软阈值激活）可增强训练稳定性和收敛性。
• Polyak 平均和细致的学习率调度进一步提升了熵梯度估计器的鲁棒性和性能。