[論文レビュー] Credit Assignment Techniques in Stochastic Computation Graphs

Théophane Weber, Nicolas Heess+2 more|arXiv (Cornell University)|Jan 7, 2019

Stochastic Gradient Optimization Techniques被引用数 13

ひとこと要約

本稿は、確率的計算グラフ（SCGs）における信用配分ツールとして、価値関数、ベーシス、クライアントを導入し、部分的モデル評価を用いることで、低分散かつ局所的な勾配推定器を可能にしている。強化学習と確率的推論の手法を統合し、複雑なモデルにおける効率的かつスケーラブルな最適化のための柔軟なフレームワークを提供する。

ABSTRACT

Stochastic computation graphs (SCGs) provide a formalism to represent structured optimization problems arising in artificial intelligence, including supervised, unsupervised, and reinforcement learning. Previous work has shown that an unbiased estimator of the gradient of the expected loss of SCGs can be derived from a single principle. However, this estimator often has high variance and requires a full model evaluation per data point, making this algorithm costly in large graphs. In this work, we address these problems by generalizing concepts from the reinforcement learning literature. We introduce the concepts of value functions, baselines and critics for arbitrary SCGs, and show how to use them to derive lower-variance gradient estimates from partial model evaluations, paving the way towards general and efficient credit assignment for gradient-based optimization. In doing so, we demonstrate how our results unify recent advances in the probabilistic inference and reinforcement learning literature.

研究の動機と目的

• 大規模または深層モデルにおける学習を妨げる、確率的計算グラフ（SCGs）における勾配推定の高分散性と計算コストを解消すること。
• 方策勾配法にとどまらず、確率的または微分不能なノードを含む任意のSCGに、価値関数、ベーシス、クライアントといった強化学習の概念を一般化すること。
• 部分的モデル評価を活用することで、完全な前向き・後向きパスを必要としない、局所的かつ非同期的な勾配更新を可能にすること。
• 信用配分のための単一の形式的枠組みの下で、確率的推論と強化学習の異なる手法を統合すること。
• 特定のモデル構造に特化した低分散で効率的な勾配推定器の設計に関する方法論的指針を提供すること。

提案手法

• 一般SCG勾配推定器に基づき、勾配推定器の分散を低減するための制御変数として、価値関数とベーシスを導入する。
• 下流損失勾配の学習された近似としての勾配クライアントを提案し、分散が低く、サンプル効率の高い勾配推定を可能にする。
• 中間状態やパラメータに条件づけられた部分的モデル評価を用い、完全なグラフ走査を回避する局所的学習ルールを実現する。
• 関数近似（例：ニューラルネットワーク）を用いて価値関数と勾配クライアントを学習させ、複雑なモデルにおけるスケーラブルな学習を可能にする。
• 行動ではなく方策パラメータに条件づける行動-パラメータクライアントを導入し、リラクゼーションや再パラメータ化を必要とせずに、非微分可能な行動のための低分散推定を可能にする。
• 線形結合によりクライアントと勾配クライアントを不偏推定器と組み合わせ、バイアスと分散のトレードオフを調整可能にしながら一貫性を保つ。

実験結果

リサーチクエスチョン

• RQ1 価値関数とベーシスをどのように任意の確率的計算グラフに一般化し、勾配推定の分散を低減できるか？
• RQ2 クライアントと勾配クライアントは、SCGにおける完全な前向き・後向きパスの代わりに、どのように局所的・部分的評価を可能にするか？
• RQ3 状態、行動、または方策パラメータに条件づける選択肢が、勾配推定におけるバイアス-分散トレードオフにどのように影響するか？
• RQ4 リラクゼーションや再パラメータ化を必要とせずに、勾配クライアントを用いて非微分可能な行動のための低分散推定器を導出できるか？
• RQ5 提案手法は、強化学習と変分推論の既存手法をどのように統合・一般化するか？

主な発見

• 制御変数としての価値関数とベーシスの使用は、バイアスを導入せずに、確率的計算グラフにおける勾配推定器の分散を顕著に低減する。
• 勾配クライアントにより、下流勾配の近似が可能になり、完全なグラフ走査を回避する局所的学習ルールが実現され、部分的評価が効率的に行える。
• 行動-パラメータクライアントは、すべての行動を暗黙的に平均化することで、リラクゼーションや再パラメータ化を必要とせずに非微分可能な行動のための低分散推定を可能にする。
• このフレームワークは、REINFORCE、再パラメータ化トリック、方策勾配法といった既存手法を、特定のクライアント選択に基づく一般SCG勾配推定器の特別なケースとして統合する。
• クライアントと勾配クライアントを組み合わせることで、バイアス-分散トレードオフを調整可能な推定器のスケールが得られ、多様なモデルアーキテクチャに適している。
• 1回の勾配更新における計算コストを低減することで、深層または長時間スパンのモデル（例：再帰的ネットワークや階層的強化学習）におけるスケーラブルな学習が可能になる。