[論文レビュー] DisARM: An Antithetic Gradient Estimator for Binary Latent Variables

Zhe Dong, Andriy Mnih+1 more|arXiv (Cornell University)|Jun 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 9

ひとこと要約

DisARM は、補助連続変数を解析的に統合することにより、余分な分散を排除する、二値潜在変数のための新規で低分散かつ不偏な勾配推定器である。ARM に比べて性能が向上し、同じ計算コストを維持しながら、連続的リラクセーションのないモデルにも適用可能であり、RELAX と同等の結果を達成する。

ABSTRACT

Training models with discrete latent variables is challenging due to the difficulty of estimating the gradients accurately. Much of the recent progress has been achieved by taking advantage of continuous relaxations of the system, which are not always available or even possible. The Augment-REINFORCE-Merge (ARM) estimator provides an alternative that, instead of relaxation, uses continuous augmentation. Applying antithetic sampling over the augmenting variables yields a relatively low-variance and unbiased estimator applicable to any model with binary latent variables. However, while antithetic sampling reduces variance, the augmentation process increases variance. We show that ARM can be improved by analytically integrating out the randomness introduced by the augmentation process, guaranteeing substantial variance reduction. Our estimator, DisARM, is simple to implement and has the same computational cost as ARM. We evaluate DisARM on several generative modeling benchmarks and show that it consistently outperforms ARM and a strong independent sample baseline in terms of both variance and log-likelihood. Furthermore, we propose a local version of DisARM designed for optimizing the multi-sample variational bound, and show that it outperforms VIMCO, the current state-of-the-art method.

研究の動機と目的

• 連続的リラクセーションが不適切または利用できない場合に、二値潜在変数を有するモデルにおける高分散勾配推定の課題に対処すること。
• 補助連続変数を用いた増幅により不必要な分散を導入するが、アンチシティックサンプリングを用いるARM推定器を改善すること。
• アンチシティックサンプリングの利点を維持しながら、増幅ステップによって生じる分散を排除する手法を開発すること。
• 改善された推定器を複数サンプルの変分境界に拡張し、VIMCO や最新の手法を上回ること。
• 離散的潜在変数モデルにおけるリラクセーションベース推定器の一般的で単純かつ計算効率の良い代替手段を提供すること。

提案手法

• DisARM は、ARM 推定器から出発し、増幅ステップで用いられる補助連続変数を解析的に統合することで、バイアスを生じさせずに分散を低減する。
• 元のベルヌーイ変数が補助連続変数の決定的関数であるという事実を活用し、条件付き分散低減を実現する。
• 元の連続変数に対してアンチシティックサンプリングを適用することで、サンプル間の負の相関を誘導し、推定器の分散を低減する。
• 全分散の法則と、元のベルヌーイ変数を条件とするREINFORCE勾配の条件付き期待値が元の勾配と同一であるという性質を用いて推定器を導出する。
• 複数サンプルの変分境界を最適化するための局所的バージョンのDisARMを提案し、分散を低減した効率的な勾配推定を可能にする。
• 計算コストがARMと同一であるため、実世界の応用において実用的である。

実験結果

リサーチクエスチョン

• RQ1 増幅ステップによって導入されるランダムネスを排除することで、ARM推定器の分散を低減できるか？
• RQ2 ARM において補助連続変数を解析的に統合することは可能か？ かつ、不偏性を保ちつつ分散を改善できるか？
• RQ3 生成モデルベンチマークにおいて、DisARM は RELAX や VIMCO と比較して分散、対数尤度、学習速度の点でどのように異なるか？
• RQ4 DisARM は複数サンプルの変分境界に効果的に拡張可能か？ これにより、VIMCO や最新の手法を上回る性能を発揮できるか？
• RQ5 連続的リラクセーションが適用できない、またはコストが高すぎる状況においても、DisARM は強力な性能を維持できるか？

主な発見

• MNIST、Fashion-MNIST、Omniglot を含む複数の生成モデルベンチマークにおいて、DisARM は ARM や REINFORCE-LOO と比較して、分散および対数尤度の両面で一貫して優れた性能を発揮する。
• 3〜4層の確率的隠れ層を有する深層モデルでは、DisARM と RELAX の性能差が縮小するが、実時間で測定した学習時間は DisARM が RELAX の約2倍速い。
• 複数サンプルの変分推論において、DisARM は K ペアのアンチシティックサンプルを用いるが、2K 個の独立サンプルを用いる VIMCO よりも、学習目的関数および勾配分散の両面で優れている。
• 同等の計算コスト下で比較した場合、K ペアの DisARM は K 個のサンプルを用いる2つの独立な VIMCO 推定器よりも低い勾配分散を達成しており、その効率性を裏付ける。
• 複数サンプル境界用に提案された DisARM の局所的バージョンは、VIMCO を上回る性能を示しており、複雑な変分目的関数における有効性を実証している。
• DisARM は二値潜在変数を有する任意のモデルに普遍的に適用可能であり、連続的リラクセーションを必要としないため、RELAX や REBAR よりも広く適用可能である。