[論文レビュー] DiCE: The Infinitely Differentiable Monte-Carlo Estimator

Jakob Foerster, Gregory Farquhar+4 more|arXiv (Cornell University)|Feb 14, 2018

Explainable Artificial Intelligence (XAI)参考文献 19被引用数 9

ひとこと要約

DiCEは、確率的計算グラフにおける一般化された無限に微分可能なモンテカルロ推定器を導入し、自動微分を用いて任意の順序の勾配を正確かつ効率的に計算可能にする。従来の手法が手動での導出や繰り返しの代理損失構築に依存するのに対し、DiCEは勾配の依存関係を保持する新しいMagicBox演算子を用いることで、メタラーニングやマルチエージェント強化学習における正確な高階推定を実現し、計算コストの大幅な削減と安定性の向上を達成する。

ABSTRACT

The score function estimator is widely used for estimating gradients of stochastic objectives in stochastic computation graphs (SCG), eg, in reinforcement learning and meta-learning. While deriving the first-order gradient estimators by differentiating a surrogate loss (SL) objective is computationally and conceptually simple, using the same approach for higher-order derivatives is more challenging. Firstly, analytically deriving and implementing such estimators is laborious and not compliant with automatic differentiation. Secondly, repeatedly applying SL to construct new objectives for each order derivative involves increasingly cumbersome graph manipulations. Lastly, to match the first-order gradient under differentiation, SL treats part of the cost as a fixed sample, which we show leads to missing and wrong terms for estimators of higher-order derivatives. To address all these shortcomings in a unified way, we introduce DiCE, which provides a single objective that can be differentiated repeatedly, generating correct estimators of derivatives of any order in SCGs. Unlike SL, DiCE relies on automatic differentiation for performing the requisite graph manipulations. We verify the correctness of DiCE both through a proof and numerical evaluation of the DiCE derivative estimates. We also use DiCE to propose and evaluate a novel approach for multi-agent learning. Our code is available at https://www.github.com/alshedivat/lola.

研究の動機と目的

• 確率的計算グラフ（SCG）における高階勾配推定の既存手法の限界、例えば手動での導出や繰り返しの代理損失適用を解消すること。
• 解析的導出や複雑なグラフ変換を必要とせず、任意の順序の導関数の正しい推定器を生成する統一フレームワークの開発。
• 深層学習フレームワークとの互換性を確保しつつ、自動微分を用いた高階勾配推定の利用を可能にすること。
• 正確な高階勾配推定を提供することで、メタラーニングおよびマルチエージェント強化学習の安定性と効率性を向上させること。
• MAML や LOLA などの手法を統一的な勾配推定アプローチを通じて共通の定式化にすること。

提案手法

• DiCE推定器を導入し、SCGにおける任意の順序の導関数の正しい推定器を繰り返し微分可能な単一の目的関数として得られる。
• 損失に影響を与える確率的ノードに対して作用する、新しい演算子であるMagicBox(⋅)を採用し、サンプリング分布に沿った正しい勾配計算を保証する。
• 複雑なグラフ変換を回避するため、自動微分に依存し、手動での導出や反復的代理損失構築の必要性を排除する。
• スコア関数トリックを一般化した形で用い、MagicBoxが従来の代理損失アプローチで失われる依存関係を保持する。
• 相手エージェントの学習プロセスを微分することで、DiCE推定器をマルチエージェント強化学習に適用し、安定的かつ効率的な学習を実現する。
• 数学的証明と数値評価により正しさを検証し、複数の順序において真の勾配に収束することを示した。

実験結果

リサーチクエスチョン

• RQ1 確率的計算グラフにおいて、任意の順序の導関数の正しい推定器を生成する、微分可能な単一の目的関数を構築可能か？
• RQ2 従来の代理損失アプローチが高階勾配推定に失敗する理由は何か？具体的に欠落しているか誤った項は何か？
• RQ3 手動での導出や複雑なグラフ変換を伴わずに、自動微分を効果的に活用して高階勾配を計算可能か？
• RQ4 DiCEは、メタラーニングおよびマルチエージェント強化学習における高階最適化手法の安定性とサンプル効率性をどのように向上させるか？
• RQ5 DiCEは、MAML や LOLA などの高階手法の実装を、深層学習フレームワークで統一的かつ簡素化可能か？

主な発見

• DiCEは、代理損失手法で失われるサンプリング分布に関する依存関係を保持することで、正確な高階勾配推定器を生成する。
• 数値評価により、DiCE推定値が真の勾配に収束することが確認され、理論的正しさが裏付けられた。
• LOLA-DiCEエージェントは、バッチサイズ64で安定した学習を達成したが、これは元のLOLA実装で必要とされた4000よりも60倍以上も小さい。
• LOLA-DiCEは、元のLOLA論文で報告された高い社会的福利厚さ戦略を再現し、正しさと実用的有用性の両方を示した。
• 任意の数の相手エージェントの学習ステップをアンロールして微分可能であるため、より正確なマルチエージェント方策学習が可能になった。
• DiCEは、現代の深層学習フレームワークおよび自動微分ツールと互換性を持つ、統一的でエンドツーエンドの高階勾配推定ソリューションを提供する。