[論文レビュー] ARSM: Augment-REINFORCE-Swap-Merge Estimator for Gradient Backpropagation Through Categorical Variables

Mingzhang Yin, Yuguang Yue+1 more|arXiv (Cornell University)|May 4, 2019

Adversarial Robustness in Machine Learning被引用数 17

ひとこと要約

本稿では、変数拡張、REINFORCE、Rao-Blackwellization、および新しい変数交換メカニズムを組み合わせることで、ディリクレ分布下での等価勾配期待値を構築し、カテゴリカル変数を経由するバックプロパゲーションにおける不偏で低分散の勾配推定器であるARSMを提案する。この手法により、これらの期待値間で共通の乱数を共有することで、顕著な分散低減が達成され、変分オートエンコーダーにおいて既存の推定器を上回り、離散強化学習におけるベースラインなしの「試行・観察型自己批判者」ポリシー勾配法を提供する。

ABSTRACT

To address the challenge of backpropagating the gradient through categorical variables, we propose the augment-REINFORCE-swap-merge (ARSM) gradient estimator that is unbiased and has low variance. ARSM first uses variable augmentation, REINFORCE, and Rao-Blackwellization to re-express the gradient as an expectation under the Dirichlet distribution, then uses variable swapping to construct differently expressed but equivalent expectations, and finally shares common random numbers between these expectations to achieve significant variance reduction. Experimental results show ARSM closely resembles the performance of the true gradient for optimization in univariate settings; outperforms existing estimators by a large margin when applied to categorical variational auto-encoders; and provides a "try-and-see self-critic" variance reduction method for discrete-action policy gradient, which removes the need of estimating baselines by generating a random number of pseudo actions and estimating their action-value functions.

研究の動機と目的

• 深層学習および強化学習におけるカテゴリカル変数を経由するバックプロパゲーションにおける高分散勾配推定の課題に対処すること。
• C ≥ 2のカテゴリを持つ多変量カテゴリカル変数に対して、不偏で低分散の勾配推定器を構築すること。
• 疑似行動のシミュレーションを用いた自己批判メカニズムを導入することで、離散行動ポリシー勾配のベースライン推定の必要性を排除すること。
• 元々二値変数を対象としていたARM推定器を一般のカテゴリカルケース（C ≥ 2）に拡張し統合すること。
• 離散潜在変数および離散制御ポリシーを有するモデルの訓練に実用的かつ再現可能である手法を提供すること。

提案手法

• ARSM推定器は、変数拡張を用いて勾配をディリクレ分布下での期待値として再表現する。
• 拡張空間においてREINFORCE勾配推定器を適用し、初期の不偏勾配推定値を得る。
• 十分統計量に条件づけることで、Rao-Blackwellizationを適用し、分散を低減する。
• 変数交換を用いて、ディリクレ分布下で等価だが異なる表現を持つ勾配期待値を複数生成する。
• これらの交換された期待値間で共通の乱数を共有することで、さらに分散を低減するマージステップを実行する。
• 最終的な推定器は、これらの共有済みで等価な期待値の重み付き平均として計算され、顕著な分散低減を達成する。

実験結果

リサーチクエスチョン

• RQ1 変数拡張と分散低減技術を用いて、C ≥ 2のカテゴリカル変数に対して低分散・不偏勾配推定器を構築可能か？
• RQ2 ディリクレ分布下での変数交換により、効果的な分散低減を可能にする等価な勾配期待値を生成できるか？
• RQ3 疑似行動を生成し、その価値関数を推定することで、ARSMは離散行動ポリシー勾配のベースライン推定の必要性を排除できるか？
• RQ4 ARSMは、カテゴリカル変分オートエンコーダーおよび離散強化学習エージェントの訓練において、既存の推定器と比較してどのように性能を発揮するか？
• RQ5 ARSMは一変量設定では真の勾配に近い性能を達成し、多変量および複雑な設定では最先端の結果を達成できるか？

主な発見

• 一変量設定ではARSMが真の勾配を非常に良く近似しており、勾配推定の高精度を示している。
• カテゴリカル変分オートエンコーダーにおいて、ARSMは既存の推定器と比較して、訓練性能および汎化性能の両面で最先端の性能を達成している。
• 離散強化学習において、ARSMは「試行・観察型自己批判者」手法を提供し、疑似行動を生成・評価することで、ベースライン推定の必要性を排除している。
• 交換された期待値間で共通の乱数を共有することで、合成的および現実世界のタスクにおいてREINFORCEや他のベースラインを上回る顕著な勾配分散低減を達成している。
• C ≥ 2のARSMは、反対称サンプリングのみでは実現不可能であり、分散低減に不可欠な新しい変数交換メカニズムを必要としている。
• 提示されたアルゴリズムは再現可能であり、ARSM勾配推定器および強化学習・VAEへの応用に関するコードがGitHubで公開されている。