[論文レビュー] Estimating Gradients for Discrete Random Variables by Sampling without Replacement

Wouter Kool, Herke van Hoof+1 more|arXiv (Cornell University)|Feb 14, 2020

Reinforcement Learning in Robotics参考文献 49被引用数 16

ひとこと要約

本稿では、サンプリングを復元抽出から非復元抽出にすることで、重複するサンプルを排除することにより分散を低減する、離散確率変数の不偏勾配推定器を提案する。Rao-Blackwellizationを用いて内蔵された制御変数を導出することで、REINFORCEよりも低い分散を達成し、変分オートエンコーダおよび構造予測タスクにおける実験で、高エントロピーおよび低エントロピーの両設定において一貫して他の推定器を上回る性能を示した。

ABSTRACT

We derive an unbiased estimator for expectations over discrete random variables based on sampling without replacement, which reduces variance as it avoids duplicate samples. We show that our estimator can be derived as the Rao-Blackwellization of three different estimators. Combining our estimator with REINFORCE, we obtain a policy gradient estimator and we reduce its variance using a built-in control variate which is obtained without additional model evaluations. The resulting estimator is closely related to other gradient estimators. Experiments with a toy problem, a categorical Variational Auto-Encoder and a structured prediction problem show that our estimator is the only estimator that is consistently among the best estimators in both high and low entropy settings.

研究の動機と目的

• 強化学習および潜在変数モデルに用いられる離散確率変数の勾配推定における分散を低減すること。
• 復元抽出を避けるために非復元抽出による重複サンプルのない不偏勾配推定器を構築すること。
• 追加のモデル評価を必要としないまま分散を低減する制御変数を導出すること。
• 高エントロピーおよび低エントロピー分布を含む多様な設定での性能を評価すること。
• 離散VAEおよび構造予測タスクにおいて、既存の推定器を一貫して上回ることを示すこと。

提案手法

• 離散分布から非復元抽出で得た順序なしのサンプル集合に基づいて、不偏勾配推定器を導出する。
• Rao-Blackwellizationを用いて、3つの異なる基本推定器から推定器を導出し、分散低減を実現する。
• 同じサンプルから得られる内蔵制御変数を導入し、追加のモデル評価を必要とせず不偏性を維持する。
• REINFORCEフレームワーク内に推定器を適用し、低分散のポリシー勾配推定器を生成する。
• 非復元抽出における確率を計算するための制限付き分布モデルを用い、除去済み要素を補正する。
• 合成および実世界のベンチマーク（カテゴリー型VAEおよびTSPソルバを含む）を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 復元抽出と比較して、非復元抽出を用いることで、離散分布の勾配推定における分散を低減できるか？
• RQ2 非復元抽出の順序なしサンプル集合を用いて、不偏勾配推定器を構築できるか？
• RQ3 提案手法は、REINFORCE、Gumbel-Softmax、ARSMといった既存手法と比較して、高エントロピーおよび低エントロピーの両領域で優れているか？
• RQ4 追加のモデル評価を必要とせず、不偏性を保ちながら内蔵制御変数を導出できるか？
• RQ5 離散VAEや構造予測といった実用的応用において、推定器はどのように性能を発揮するか？

主な発見

• 提案手法は、評価されたすべてのタスクにおいて、高エントロピーおよび低エントロピー設定の両方で、最も優れた性能を一貫して示した。
• カテゴリー型VAEの実験では、復元抽出を用いたREINFORCEとARSMを上回り、最小の検証 -ELBO を達成した。
• TSPベンチマークでは、復元抽出を用いたREINFORCEと比較して、収束が早く、期待ツアー長が低かった。
• 提案手法の勾配の対数分散は、特に高エントロピー設定において、復元抽出を用いたREINFORCEよりも顕著に低かった。
• 内蔵制御変数は、追加のモデル評価を必要とせず分散を低減し、不偏性を維持した。
• 大規模な潜在空間のような困難な設定においても、発散を伴わず安定した学習を達成し、標準的な復元抽出を用いたREINFORCEを上回った。