[論文レビュー] ARM: Augment-REINFORCE-Merge Gradient for Stochastic Binary Networks

Mingzhang Yin, Mingyuan Zhou|arXiv (Cornell University)|Jul 30, 2018

Statistical Methods and Inference被引用数 34

ひとこと要約

本論文は、変数拡張、REINFORCE、再パrameterizationを組み合わせることで、偏りのない低分散勾配推定器を生成し、最小限の計算オーバーヘッドで動作する、確率的バイナリネットワークの訓練のための、Augment-REINFORCE-Merge (ARM) 勾配推定器を提案する。ARMは、バイナリ層を有する離散潜在変数モデルにおける変分推論と尤度推定において、状態をしのぐ性能を達成し、負の対数尤度および下界の下界の指標において、バイアスあり・バイアスなしの両方のベースラインを上回っている。

ABSTRACT

To backpropagate the gradients through stochastic binary layers, we propose the augment-REINFORCE-merge (ARM) estimator that is unbiased, exhibits low variance, and has low computational complexity. Exploiting variable augmentation, REINFORCE, and reparameterization, the ARM estimator achieves adaptive variance reduction for Monte Carlo integration by merging two expectations via common random numbers. The variance-reduction mechanism of the ARM estimator can also be attributed to either antithetic sampling in an augmented space, or the use of an optimal anti-symmetric "self-control" baseline function together with the REINFORCE estimator in that augmented space. Experimental results show the ARM estimator provides state-of-the-art performance in auto-encoding variational inference and maximum likelihood estimation, for discrete latent variable models with one or multiple stochastic binary layers. Python code for reproducible research is publicly available.

研究の動機と目的

• 確率的バイナリ層を有する離散潜在変数モデルの学習における勾配推定器の高分散を解消すること。
• 学習可能なベースラインパラメータを必要とせず、偏りのないかつ計算効率の良い勾配推定器を開発すること。
• 変分推論と尤度推定のための、深く確率的なバイナリフィードフォワードネットワークの有効な訓練を可能にすること。
• 共通の乱数と拡張された空間サンプリングに基づく新しい分散低減メカニズムにより、モンテカルロ統合の分散を低減しつつバイアスを導入しないこと。

提案手法

• ARM推定器は、拡張された潜在空間における相関のあるバイナリベクトルの結合分布を生成するために変数拡張を用いる。
• 共通の乱数を用いて分散を低減しつつ、拡張空間内でREINFORCE推定器を適用する。
• 再パラメータライゼーションとアンチシスティックサンプリングを用いて二つの期待値を組み合わせ、効果的に自己制御ベースライン関数を生成する。
• 勾配は、一様乱数と二つの相関のあるバイナリサンプルにおける関数値の差の積として計算される。
• 推定器はベースラインパラメータの推定を回避することで、低計算コストを維持しながら、適応的分散低減を実現する。
• 再パラメータライゼーショントリックとスコア関数推定器の組み合わせから導出され、分散低減は拡張空間内での最適な反対称ベースラインに起因する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なベースラインパラメータを必要とせず、低分散を達成する偏りのない勾配推定器を、確率的バイナリネットワーク用に設計できるか？
• RQ2 REINFORCE、REBAR、Gumbel-Softmaxなどの既存手法と比較して、ARM推定器の収束速度とテスト性能はどのように異なるか？
• RQ3 単一のサンプルのみを用いても、ARM推定器は離散潜在変数モデルにおけるモンテカルロ統合の分散を効果的に低減できるか？
• RQ4 ARM推定器は、バイアスあり・バイアスなしの両方のベースラインを上回る性能を示しつつ、計算複雑性を低く維持できるか？

主な発見

• MNISTの条件付き分布推定ベンチマークにおいて、ARM推定器は57.9 ± 0.1の最低のテスト負の対数尤度を達成し、すべての競合手法を上回った。
• 標準スコア関数（SF）推定器が72.0の対数尤度を示すのに対し、ARMは分散を顕著に低減した。
• 自己符号化変分推論タスクにおいて、収束が早く、より低いテスト負の下界を達成した。
• REBAR や RELAX とは異なり、ベースラインパラメータの推定を回避することで、ARMは低計算複雑性を維持した。
• 相関のあるサンプルと共通の乱数の使用により、単一のモンテカルロサンプルでも、ARM推定器は偏りがなく低分散を示した。
• 実験的結果から、ARMは1つ以上の確率的バイナリ層を含む複数のベンチマークで、最先端の性能を実証した。