[論文レビュー] Gradient Estimation Using Stochastic Computation Graphs

John Schulman, Nicolas Heess+2 more|arXiv (Cornell University)|Jun 17, 2015

Bayesian Modeling and Causal Inference参考文献 28被引用数 187

ひとこと要約

この論文は、確率的および決定的演算を組み合わせたモデルにおける勾配推定のための統一的なフレームワークとして、確率的計算グラフを導入する。確率的勾配推定器を不偏に計算する一般的で自動的な手法を提示し、変分オートエンコーダーや注意機構および記憶メカニズムを備えた強化学習エージェントのような複雑なモデルの効率的学習を可能にする、修正されたバックプロパゲーションアルゴリズムを用いる。

ABSTRACT

In a variety of problems originating in supervised, unsupervised, and reinforcement learning, the loss function is defined by an expectation over a collection of random variables, which might be part of a probabilistic model or the external world. Estimating the gradient of this loss function, using samples, lies at the core of gradient-based learning algorithms for these problems. We introduce the formalism of stochastic computation graphs---directed acyclic graphs that include both deterministic functions and conditional probability distributions---and describe how to easily and automatically derive an unbiased estimator of the loss function's gradient. The resulting algorithm for computing the gradient estimator is a simple modification of the standard backpropagation algorithm. The generic scheme we propose unifies estimators derived in variety of prior work, along with variance-reduction techniques therein. It could assist researchers in developing intricate models involving a combination of stochastic and deterministic operations, enabling, for example, attention, memory, and control actions.

研究の動機と目的

• 確率的変数の期待値を含む損失関数を含む機械学習モデルにおける勾配計算の課題に取り組むこと。特に確率的モデリングおよび強化学習において。
• スコア関数法やパスワイズ導出法といった、異なる勾配推定器を、確率的ノードを含む任意の計算グラフに適用可能な一様な形式に統合すること。
• 自動微分を活用することで、潜在変数、注意機構、記憶ネットワークを含む複雑なモデルにおける、自動的かつ効率的な勾配計算を可能にすること。
• 強化学習および変分推論から得られた分散低減技術を、より広範な確率的計算グラフのクラスへ一般化すること。
• 準ニュートン法や主要化最小化法のような最適化手法を、確率的計算グラフへ体系的に拡張する方法を提供すること。

提案手法

• 確率的計算グラフを、決定的関数と確率的変数の条件付き確率分布を含む有向非巡回グラフ（DAG）として形式化すること。
• デルタ法とバックドア調整を適用することで、期待損失の不偏勾配推定器を導出し、微分可能な代替損失関数を導くこと。
• スコア関数（対数尤度の導関数）項を用いて、勾配信号を決定的ノードだけでなく確率的ノードにも伝搬する、修正されたバックプロパゲーションアルゴリズムを導入すること。
• 代替損失関数の勾配として勾配推定器を計算することで、自動微分ソフトウェアを用いた効率的な実装を可能にすること。
• 制御変数やベースライン関数を含む分散低減技術を、確率的計算グラフの枠組み内で適用し、先行研究の手法を一般化すること。
• ヘシアン・ベクトル積の計算を可能にし、MMアルゴリズムのための主要化関数を構築することで、高階最適化手法への拡張を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 確率的ノードと決定的ノードを含む任意の計算グラフに対して、勾配推定を体系的に導出する方法は何か？
• RQ2 期待値を含む多様な機械学習問題に適用可能な、一様なアルゴリズムを、不偏勾配推定器を計算するために開発できるか？
• RQ3 強化学習および変分推論から得られた分散低減技術を、任意の確率的計算グラフへ一般化できる範囲はどの程度か？
• RQ4 自動微分ツールは、確率的計算グラフを処理できるようにどのように変更すべきか？ これにより、効率的な勾配計算が可能になるか？
• RQ5 本フレームワークを用いて、準ニュートン法や主要化最小化法といった最適化手法を、確率的部品を含むモデルへ拡張できるか？

主な発見

• 提案されたフレームワークは、スコア関数法やパスワイズ導出法といった既存の勾配推定器を、確率的計算グラフの一般勾配推定器の特殊ケースとして統合する。
• スコア関数（対数微分）項を用いて確率的ノードを通過する勾配信号を伝搬する、修正されたバックプロパゲーションアルゴリズムにより、勾配推定器を効率的に計算可能である。
• 自動微分を活用することで、変分オートエンコーダー、記憶ネットワーク、注意機構を含む複雑なモデルにおける、自動的かつ効率的な勾配計算が可能になる。
• 制御変数やベースラインを含む分散低減技術が、このフレームワーク内で自然に適用可能であり、強化学習および変分推論分野の先行研究の結果を一般化する。
• ヘシアン・ベクトル積の計算を可能にすることで、確率的設定下でも準ニュートン法やヘシアンフリー最適化といった高階最適化手法への拡張が可能になる。
• アルゴリズムは標準的なバックプロパゲーションの単純な修正として実装可能であり、確率的ノードに勾配信号を追加するのみで、既存のディープラーニングシステムへの統合が実用的で容易である。