[论文解读] Improved Gradient-Based Optimization Over Discrete Distributions

Evgeny Andriyash, Arash Vahdat+1 more|arXiv (Cornell University)|Sep 29, 2018

Machine Learning and Algorithms参考文献 26被引用 6

一句话总结

本文提出了用于离散分布优化的改进梯度估计器，引入了偏差更低的连续松弛方法，如改进的Gumbel-Softmax和分段线性松弛。实证结果表明，降低偏差可实现更快的收敛速度和在变分推断与组合优化任务中更优的性能，优于标准Gumbel-Softmax及其他估计器。

ABSTRACT

In many applications we seek to maximize an expectation with respect to a distribution over discrete variables. Estimating gradients of such objectives with respect to the distribution parameters is a challenging problem. We analyze existing solutions including finite-difference (FD) estimators and continuous relaxation (CR) estimators in terms of bias and variance. We show that the commonly used Gumbel-Softmax estimator is biased and propose a simple method to reduce it. We also derive a simpler piece-wise linear continuous relaxation that also possesses reduced bias. We demonstrate empirically that reduced bias leads to a better performance in variational inference and on binary optimization tasks.

研究动机与目标

• 解决离散分布中梯度估计的挑战，因累积分布函数不连续，标准重参数化方法失效。
• 降低Gumbel-Softmax等连续松弛估计器的偏差，尽管这些方法被广泛使用，但已知存在偏差。
• 通过降低计算成本，在保持低方差的前提下提升有限差分估计器的效率。
• 提出一种新型RELAX+估计器，其计算复杂度低于原始RELAX，且优化性能更优。
• 实证表明，低偏差梯度估计器可实现变分推断与离散优化任务中更快的收敛速度和更优解。

提出的方法

• 通过修改松弛函数，推导出适用于二值与多分类变量的偏差更低的Gumbel-Softmax估计器版本。
• 提出一种适用于二值与多分类变量的分段线性连续松弛方法，相比标准Gumbel-Softmax可显著降低偏差。
• 通过权衡方差与效率，提出一种计算成本更低的RAM有限差分估计器改进版本。
• 建立REBAR与ICR（改进连续松弛）估计器之间的联系，表明REBAR可被解释为ICR的一种形式。
• 开发RELAX+，作为RELAX估计器的变体，具有更低的计算复杂度和更优的优化性能。
• 利用控制变量与梯度重加权技术，进一步降低得分函数估计器中的方差，尤其在RELAX+框架中效果显著。

实验结果

研究问题

• RQ1 Gumbel-Softmax估计器中的偏差如何影响离散变分推断与组合优化任务中的优化性能？
• RQ2 能否设计一种分段线性连续松弛方法，在保持计算效率的同时降低偏差？
• RQ3 有限差分估计器中偏差与方差的权衡关系如何？是否可优化以实现更优性能？
• RQ4 与得分函数估计器和有限差分估计器相比，改进的连续松弛估计器在收敛速度与解质量方面表现如何？
• RQ5 在VAE训练与最大团检测等实际任务中，降低梯度估计器的偏差是否能带来更稳定、更准确的优化结果？

主要发现

• 广泛使用的Gumbel-Softmax估计器存在偏差，该偏差导致变分自编码器与离散优化任务中收敛性能次优。
• 所提出的改进Gumbel-Softmax与分段线性松弛显著降低偏差，在VAE训练中实现更快收敛与更优最终性能。
• 在MNIST数据集上，改进的连续松弛（ICR）估计器优于标准Gumbel-Softmax，其中RELAX+的性能接近无偏的RAM估计器。
• 在1000个节点的图上进行最大团检测时，ICR估计器可避免因Gumbel-Softmax偏差导致的劣质局部极小值，尤其在超参数κ取值较小时效果显著。
• RELAX+估计器相比原始RELAX，方差更低且优化性能更优，同时计算成本更低。
• 实证结果表明，梯度估计器中偏差的降低可带来更稳定的优化过程，尤其在非线性模型与高维离散问题中表现更优。