[論文レビュー] Improved Gradient-Based Optimization Over Discrete Distributions

Evgeny Andriyash, Arash Vahdat+1 more|arXiv (Cornell University)|Sep 29, 2018

Machine Learning and Algorithms参考文献 26被引用数 6

ひとこと要約

本稿では、離散分布における最適化のための改良された勾配推定器を提案し、Gumbel-Softmax や区分的線形緩和法のようなバイアスの小さい連続的緩和法を導入している。バイアスの低減が変分推論や組合せ最適化において収束速度の向上とより優れた性能をもたらすことが示されており、標準的な Gumbel-Softmax や他の推定器よりも実験的に優れている。

ABSTRACT

In many applications we seek to maximize an expectation with respect to a distribution over discrete variables. Estimating gradients of such objectives with respect to the distribution parameters is a challenging problem. We analyze existing solutions including finite-difference (FD) estimators and continuous relaxation (CR) estimators in terms of bias and variance. We show that the commonly used Gumbel-Softmax estimator is biased and propose a simple method to reduce it. We also derive a simpler piece-wise linear continuous relaxation that also possesses reduced bias. We demonstrate empirically that reduced bias leads to a better performance in variational inference and on binary optimization tasks.

研究の動機と目的

• 離散分布における勾配推定の課題に取り組む。標準的な再パラメータ化は、不連続な累積分布関数（CDF）のため機能しない。
• Gumbel-Softmax のような連続的緩和推定器のバイアスを低減する。これらは広く使われているが、バイアスが知られている。
• 有限差分推定器の効率と性能を向上させ、計算コストを低減しながら分散を維持する。
• 元の RELAX よりも計算複雑性が低く、最適化性能が優れた新しい RELAX+ 推定器を開発する。
• バイアスの低い勾配推定器が、変分推論と離散最適化タスクにおける収束速度の向上とより優れた解の達成に寄与することを実証的に示す。

提案手法

• バイナリおよびカテゴリカル変数の両方に対して、緩和関数を変更することで、Gumbel-Softmax 推定器のバイアスを低減したバージョンを導出する。
• バイナリおよびカテゴリカル変数のための区分的線形連続的緩和法を提案し、標準的な Gumbel-Softmax よりもバイアスを低減する。
• 分散をある程度犠牲にして計算コストを削減することで、RAM 有限差分推定器の改良版を提案する。
• REBAR と ICR（改良された連続的緩和）推定器の間の関係を定式化し、REBAR が ICR の一種として解釈できることを示す。
• 計算複雑性が低く、最適化性能が向上した RELAX の変種である RELAX+ を開発する。
• 制御変数と勾配再重み付け技術を用いて、特に RELAX+ フレームワーク内でのスコア関数推定器の分散をさらに低減する。

実験結果

リサーチクエスチョン

• RQ1 Gumbel-Softmax 推定器のバイアスが、離散的変分推論および組合せ最適化タスクにおける最適化性能に与える影響は何か？
• RQ2 計算効率を維持しつつ、バイアスを低減できる区分的線形連続的緩和法を設計できるか？
• RQ3 有限差分推定器におけるバイアスと分散のトレードオフは何か？そして、性能を最適化できるか？
• RQ4 スコア関数推定器や有限差分推定器と比較して、改良された連続的緩和推定器は収束速度と解の質においてどのように異なるか？
• RQ5 勾配推定器のバイアスを低減することで、VAE の学習や最大クリーク検出といった実世界のタスクにおける最適化の安定性と正確性が向上するか？

主な発見

• 一般的に使われている Gumbel-Softmax 推定器はバイアスを含んでおり、これは変分オートエンコーダーと離散最適化タスクの両方で最適でない収束を引き起こす。
• 提案された改良 Gumbel-Softmax と区分的線形緩和法は、バイアスを顕著に低減し、VAE の学習において収束が速く、最終的な性能も向上する。
• MNIST データセットでは、改良された連続的緩和（ICR）推定器が標準的な Gumbel-Softmax を上回り、特に RELAX+ はバイアスのない RAM 推定器と同等の性能を達成した。
• 1000 頂点のグラフにおける最大クリーク検出では、ICR 推定器は Gumbel-Softmax のバイアスによって引き起こされる悪い局所最適解を回避し、特にハイパーパramータ κ の値が小さい場合に顕著に効果を示した。
• RELAX+ 推定器は、元の RELAX よりも分散が低く、最適化性能が向上しており、計算コストも削減された。
• 実験結果から、勾配推定器のバイアス低減が、非線形モデルや高次元離散問題において、より安定した最適化をもたらすことが示された。