[论文解读] DiCE: The Infinitely Differentiable Monte-Carlo Estimator

Jakob Foerster, Gregory Farquhar+4 more|arXiv (Cornell University)|Feb 14, 2018

Explainable Artificial Intelligence (XAI)参考文献 19被引用 9

一句话总结

DiCE 引入了一种通用的、无限可微的蒙特卡洛估计器，用于随机计算图，通过自动微分实现任意阶梯度的正确且高效计算。与依赖手动推导或重复构建代理损失的先前方法不同，DiCE 使用一种新颖的 MagicBox 操作符来保持梯度依赖关系，从而在元学习和多智能体强化学习中实现准确的高阶估计，同时显著降低计算开销并提高稳定性。

ABSTRACT

The score function estimator is widely used for estimating gradients of stochastic objectives in stochastic computation graphs (SCG), eg, in reinforcement learning and meta-learning. While deriving the first-order gradient estimators by differentiating a surrogate loss (SL) objective is computationally and conceptually simple, using the same approach for higher-order derivatives is more challenging. Firstly, analytically deriving and implementing such estimators is laborious and not compliant with automatic differentiation. Secondly, repeatedly applying SL to construct new objectives for each order derivative involves increasingly cumbersome graph manipulations. Lastly, to match the first-order gradient under differentiation, SL treats part of the cost as a fixed sample, which we show leads to missing and wrong terms for estimators of higher-order derivatives. To address all these shortcomings in a unified way, we introduce DiCE, which provides a single objective that can be differentiated repeatedly, generating correct estimators of derivatives of any order in SCGs. Unlike SL, DiCE relies on automatic differentiation for performing the requisite graph manipulations. We verify the correctness of DiCE both through a proof and numerical evaluation of the DiCE derivative estimates. We also use DiCE to propose and evaluate a novel approach for multi-agent learning. Our code is available at https://www.github.com/alshedivat/lola.

研究动机与目标

• 解决现有方法在估计随机计算图（SCGs）中高阶梯度时的局限性，例如手动推导和重复应用代理损失。
• 开发一个统一框架，无需解析推导或复杂图操作即可生成任意阶导数的正确估计器。
• 通过自动微分实现高阶梯度估计，确保与深度学习框架的兼容性。
• 通过提供准确的高阶梯度估计，提升元学习和多智能体强化学习的稳定性和效率。
• 通过统一的梯度估计方法，建立 MAML 和 LOLA 等方法之间的共同形式化表达。

提出的方法

• 提出 DiCE 估计器，一个单一目标，可通过反复微分生成 SCGs 中任意阶导数的正确估计器。
• 采用一种新颖的操作符 MagicBox(⋅)，作用于影响损失的随机节点，确保通过采样分布的梯度计算正确。
• 依赖自动微分处理复杂的图操作，消除对手动推导或迭代代理损失构建的需求。
• 以广义形式使用得分函数技巧，MagicBox 保留了传统代理损失方法中丢失的依赖关系。
• 通过微分对手智能体的学习过程，将 DiCE 估计器应用于多智能体强化学习，实现稳定高效的训练。
• 通过数学证明和数值评估验证其正确性，表明在多个阶数下估计值收敛至真实梯度。

实验结果

研究问题

• RQ1 能否构建一个单一、可微的目标，使其在随机计算图中生成任意阶导数的正确估计器？
• RQ2 传统代理损失方法为何在高阶梯度估计中失败？具体缺失或错误的项是什么？
• RQ3 能否有效利用自动微分计算高阶梯度，而无需手动推导或复杂图变换？
• RQ4 DiCE 如何提升元学习和多智能体强化学习中高阶优化方法的稳定性和样本效率？
• RQ5 DiCE 能否统一并简化深度学习框架中 MAML 和 LOLA 等高阶方法的实现？

主要发现

• DiCE 通过保留传统代理损失方法中丢失的采样分布依赖关系，生成了正确的高阶梯度估计器。
• 数值评估证实 DiCE 估计值收敛至真实梯度，验证了该方法的理论正确性。
• LOLA-DiCE 智能体在批量大小为 64 时实现稳定学习，这比原始 LOLA 实现所需的 4000 小了逾 60 倍。
• LOLA-DiCE 复现了原始 LOLA 论文中报告的高社会福利策略，证明了其正确性与实际效用。
• 该方法支持对任意数量对手学习步骤进行展开和微分，有助于实现更精确的多智能体策略学习。
• DiCE 提供了一种统一、端到端的高阶梯度估计解决方案，与现代深度学习框架和自动微分工具完全兼容。