[論文レビュー] Rao-Blackwellized Stochastic Gradients for Discrete Distributions

Runjing Liu, Jeffrey Regier+3 more|arXiv (Cornell University)|Oct 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 5

ひとこと要約

本論文は、バイアスを導入せずに離散分布の確率的勾配の分散を低減するRao-Blackwellizationに基づくメタ手順を提案する。特に、分布がスパース（つまり、少数のカテゴリに集中している）場合に顕著に効果的である。本手法は高確率のカテゴリについて解析的に合算することで、半教師あり分類やピクセルアテンションなどのタスクにおける収束速度と最終的性能を著しく向上させる。REINFORCE、NVIL、RELAX、Gumbel-softmaxと比較して、速度と正確性の両面で優れている。

ABSTRACT

We wish to compute the gradient of an expectation over a finite or countably infinite sample space having $K \leq \infty$ categories. When $K$ is indeed infinite, or finite but very large, the relevant summation is intractable. Accordingly, various stochastic gradient estimators have been proposed. In this paper, we describe a technique that can be applied to reduce the variance of any such estimator, without changing its bias---in particular, unbiasedness is retained. We show that our technique is an instance of Rao-Blackwellization, and we demonstrate the improvement it yields on a semi-supervised classification problem and a pixel attention task.

研究の動機と目的

• 離散的かつ高次元または無限次元のサンプル空間上の期待値のための確率的勾配推定器の分散を、バイアスを導入せずに低減すること。
• 任意の不偏な確率的勾配推定器に適用可能な一般化された分散低減技術を開発すること。特に、確率質量関数がスパースな状況に適していること。
• 離散潜在変数を含むモデル、例えば極端な分類やアテンション機構における勾配ベース最適化の実用性を向上させること。標準的手法では分散が高いため問題となる。
• 高確率のカテゴリについての解析的合算が、特に僅か数個のカテゴリに質量が集中している場合に顕著な分散低減をもたらすことを示すこと。

提案手法

• 本手法はRao-Blackwellizationを適用し、期待値を2つの部分に分解する：高確率の原子（正確に合算）と残りの低確率の原子（確率的推定）。
• 任意の既存の不偏な確率的勾配推定器（例：REINFORCEや制御変数付きREINFORCE）と組み合わせて使用可能なメタ手順を採用し、分散を低減しつつ不偏性を維持する。
• 分布 $ q_{\eta}(z) $ における確率が最も高い上位K個のカテゴリを特定し、それらの寄与を正確に計算。残りの部分はモンテカルロサンプリングで推定。
• 本手法はいつでも利用可能（anytime）であり、計算リソースが増えるに従い、より多くのカテゴリを正確に合算可能。計算リソースの増加に伴い、分散低減効果が向上する。
• 統計的理論、特にRao-Blackwellizationに基づく。これは全分散の法則に従い、分散低減を保証する。
• 特に、極端な分類やアテンション機構のように、わずか数個のカテゴリしか現れないか、活性でない場合に顕著に効果的である。

実験結果

リサーチクエスチョン

• RQ1 離散分布のための確率的勾配推定における分散を、バイアスを導入せずに低減できるか？
• RQ2 多数のカテゴリを持つ1変量離散確率変数にRao-Blackwellizationを適用した場合、どの程度効果的か？
• RQ3 高確率のカテゴリについての解析的合算が、実用的なディープラーニングタスクにおいて顕著な分散低減をもたらすか？
• RQ4 REINFORCE、NVIL、RELAX、Gumbel-softmaxといった既存のベースラインと比較して、本手法の収束速度と最終的性能はどの程度優れているか？
• RQ5 本手法は、潜在マルコフ連鎖やアテンション機構のような構造的または多次元離散設定においても、効率的に適用可能か？

主な発見

• 半教師あり分類タスクにおいて、Rao-Blackwell化されたREINFORCE推定器は、REINFORCE、NVIL、RELAXよりも収束が早く、より低い負のELBOを達成した。
• ピクセルアテンションタスクでは、本手法は約44秒で負のELBOを500に達成したが、RELAXは110秒を要した。収束が著しく速いことが示された。
• Gumbel-softmaxはストレートスラッシュ推定子による高いバイアスのため、合理的なELBOに収束できず、本手法は安定かつ正確に動作した。
• NVILは収束が速かったが、本手法よりも悪いELBOに収束した。収束が速いからといって、性能が良いとは限らないことを示している。
• モービングMNISTタスクにおいて、本手法はすべてのベースラインの中で最小の負のELBOを達成し、最適化品質の優位性を示した。
• 1エポックあたりの計算コストは他の手法（8.7–11.1秒）よりも高かった（15.4秒）が、収束速度と最終的性能の向上により、そのオーバーヘッドは正当化された。