[論文レビュー] GO Gradient for Expectation-Based Objectives

Yulai Cong, Miaoyun Zhao+2 more|arXiv (Cornell University)|Jan 1, 2019

Machine Learning in Materials Science被引用数 7

ひとこと要約

この論文は、再パラメータライゼーションを必要とせず、任意の分布（連続的または離散的）のパラメータに関して期待値ベースの目的関数の低分散かつ不偏勾配を計算するための新規手法である一般および1サンプル（GO）勾配を導入する。この手法により、1つのモンテカルロサンプルのみを用いて、一般的な確率的変数を介した効率的な統計的バックプロパゲーションが可能となり、再パラメータライゼーションのテクニックと同等の分散レベルを達成する。

ABSTRACT

Within many machine learning algorithms, a fundamental problem concerns efficient calculation of an unbiased gradient wrt parameters $\gammav$ for expectation-based objectives $\Ebb_{q_{\gammav} (\yv)} [f(\yv)]$. Most existing methods either (i) suffer from high variance, seeking help from (often) complicated variance-reduction techniques; or (ii) they only apply to reparameterizable continuous random variables and employ a reparameterization trick. To address these limitations, we propose a General and One-sample (GO) gradient that (i) applies to many distributions associated with non-reparameterizable continuous or discrete random variables, and (ii) has the same low-variance as the reparameterization trick. We find that the GO gradient often works well in practice based on only one Monte Carlo sample (although one can of course use more samples if desired). Alongside the GO gradient, we develop a means of propagating the chain rule through distributions, yielding statistical back-propagation, coupling neural networks to common random variables.

研究の動機と目的

• 再パラメータライゼーションが可能な連続変数に限定されるか、高分散に悩まされる既存の勾配推定手法の限界を解消すること。
• 複雑な分散低減技術を必要とせず、連続的および離散的分布の両方へ一般化可能な勾配推定器を開発すること。
• 確率的計算グラフに拡張されたチェーンルールを用いて、ニューラルネットワークにおける分布を介した効率的なバックプロパゲーションを可能にすること。
• 再パラメータライゼーションのテクニックと同等の分散レベルを達成しつつ、1つのモンテカルロサンプルでのみ処理を行うこと。

提案手法

• 非再パラメータライズドな連続的および離散的分布の両方に適用可能な、期待値ベースの目的関数のための統一的推定器としてGO勾配を提案する。
• スコア関数と特定の再重み付け機構を活用することで分散を低減する、勾配の閉形式表現を導出する。
• 分布を計算グラフ内の微分可能コンポonentとして扱うことで、勾配を分布を介して伝播させる統計的バックプロパゲーションフレームワークを導入する。
• 分布および目的関数の構造的性質を活用することで、分散を維持しつつ1サンプルのモンテカルロ近似を実現する。
• 確率的層を含むニューラルネットワークのエンドツーエンド学習を可能にする、分布へのチェーンルールの拡張を構築する。
• 対数導関数のテクニックおよび分布固有の導関数に基づく再重み付け方式を用いて、勾配推定の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのサンプル勾配推定器は、非再パラメータライズドな連続的および離散的分布の両方で低分散を達成できるか？
• RQ2 ニューラルネットワークにおける確率的分布を介したバックプロパゲーションを可能にするために、チェーンルールを体系的に拡張する方法は何か？
• RQ3 既存手法と比較して、GO勾配の理論的および実験的性能（分散および収束性）はどの程度か？
• RQ4 複雑なモデルに応用可能な場合、非再パラメータライズドな混合離散的および連続的潜在変数を含むモデルに対しても、分散低減のオーバーヘッドなしにGO勾配を適用できるか？
• RQ5 GO勾長の1サンプル性が、実際の訓練における安定性およびサンプル効率にどのように影響を与えるか？

主な発見

• GO勾長は、1つのモンテカルロサンプルのみを用いても、再パラメータライゼーションのテクニックと同等の分散レベルを達成する。
• この手法は、非再パラメータライズドな分布を含む連続的および離散的分布の両方へ広く適用可能である。
• 統計的バックプロパゲーションにより、非再パラメータライズドな分布から生じる確率的層を含むニューラルネットワークのエンドツーエンド学習が可能になる。
• 実験的結果から、さまざまなベンチマークタスクにおいて、スコア関数推定器と比較してGO勾長はより速く収束し、分散が小さいことが示された。
• 混合離散的および連続的潜在変数を含むモデルの効率的学習が、複雑な分散低減技術を必要とせず可能になる。
• 1サンプル性のおかげで、計算コストの大幅な削減が達成されつつ、高いサンプル効率を維持できる。