[論文レビュー] Monte Carlo Gradient Estimation in Machine Learning

Shakir Mohamed, Mihaela Rosca+2 more|arXiv (Cornell University)|Jun 25, 2019

Machine Learning and Algorithms参考文献 149被引用数 85

ひとこと要約

本論文は、分布パラメータに関する期待値の勾配を推定するモンテカルロ勾配推定量を調査し、スコア関数法、パスウェイ法、測度値法のそれぞれとそれらの関連性、そして多様な分野における分散低減技法を詳述する。

ABSTRACT

This paper is a broad and accessible survey of the methods we have at our disposal for Monte Carlo gradient estimation in machine learning and across the statistical sciences: the problem of computing the gradient of an expectation of a function with respect to parameters defining the distribution that is integrated; the problem of sensitivity analysis. In machine learning research, this gradient problem lies at the core of many learning problems, in supervised, unsupervised and reinforcement learning. We will generally seek to rewrite such gradients in a form that allows for Monte Carlo estimation, allowing them to be easily and efficiently used and analysed. We explore three strategies--the pathwise, score function, and measure-valued gradient estimators--exploring their historical development, derivation, and underlying assumptions. We describe their use in other fields, show how they are related and can be combined, and expand on their possible generalisations. Wherever Monte Carlo gradient estimators have been derived and deployed in the past, important advances have followed. A deeper and more widely-held understanding of this problem will lead to further advances, and it is these advances that we wish to support.

研究の動機と目的

• 分布パラメータに関する期待値の勾配を計算する問題を動機づけ、形式化する。
• 3つの主要なモンテカルロ勾配推定量とその導出を調査する：スコア関数、パスウェイ、測度値法。
• 学習、推論、意思決定問題にわたってこれらの推定量を適用する際の分散低減技法と実用上の考慮事項を説明する。
• 推定量の結合・一般化を示し、今後の研究への指針を提供する。）

提案手法

• スコア関数を用いて分布パラメータに関する期待値の勾配を導出し、スコア関数推定量を得る。
• コストの微分としてのパスウェイ法（導関数法）を説明し、微分可能性が許容される状況を含む。
• 測度値勾配推定量を測度の導関数として導入し、カップリングと分散特性を含む。
• 簡単なガウス分布の例で推定量を比較し、分散とコストのトレードオフを示す。
• スコア関数推定量のコントロール変数などの分散低減技法と、測度値推定量のカップリングなどを論じる。
• 推定量を関連づけ、組み合わせ、より広い用途へ一般化する方法の概要を示す。）

実験結果

リサーチクエスチョン

• RQ1 閉形式が利用できない場合、分布パラメータに関する期待値の勾配をどのように計算できるか？
• RQ2 モンテカルロ勾配推定の基本的な推定量（スコア関数、パスウェイ、測度値）とは何か、そしてそれらの仮定と限界は何か？
• RQ3 代表的な問題において、分散、バイアス、計算コストの観点からこれらの推定量はどのように比較されるか？
• RQ4 これらの推定量に対して有効な分散低減戦略は何で、どの条件で適用されるか？
• RQ5 変分推論、強化学習、感度分析、実験計画などの分野で、これらの勾配推定量をどのように適用・一般化できるか？

主な発見

• 主に3つの勾配推定量を分析する：スコア関数、パスウェイ、測度値法、それぞれ異なる仮定とトレードオフを持つ。
• 推定量はそれぞれの条件下で一致性と不偏性を満たすが、分散特性と計算コストは異なる。
• 分散は、スコア関数推定量にはコントロール変数、測度値推定量にはカップリングを用いることで大幅に低減できる。
• コスト関数の微分可能性と問題構造が、各推定量の適合性と性能に影響を与える。
• 本論文はこれらの推定量を結びつけ、より広い問題へ結合・一般化する方法を論じる。
• 変分推論、強化学習、感度分析、離散イベントシステムなどの応用が、これらの推定量が中心となる設定として強調されている。