[論文レビュー] Direct Optimization through $\arg \max$ for Discrete Variational Auto-Encoder

Guy Lorberbom, Andreea Gane+2 more|arXiv (Cornell University)|Jun 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 6

ひとこと要約

本稿では、非微分可能な $\ceil\max$ 演算を伴う離散的変分オートエンコーダー（VAEs）を、Gumbel-Softmax緩和のバイアスを回避する直接損失最小化アプローチによる直接最適化によって訓練する手法を提案する。差分による勾配推定を活用することで、高次元の構造的空間であっても効率的な学習が可能となり、非構造的および構造的離散VAEsにおいて最先端の性能を達成する。

ABSTRACT

Reparameterization of variational auto-encoders with continuous random variables is an effective method for reducing the variance of their gradient estimates. In the discrete case, one can perform reparametrization using the Gumbel-Max trick, but the resulting objective relies on an $\arg \max$ operation and is non-differentiable. In contrast to previous works which resort to softmax-based relaxations, we propose to optimize it directly by applying the direct loss minimization approach. Our proposal extends naturally to structured discrete latent variable models when evaluating the $\arg \max$ operation is tractable. We demonstrate empirically the effectiveness of the direct loss minimization technique in variational autoencoders with both unstructured and structured discrete latent variables.

研究の動機と目的

• 非微分可能な $\rceil\max$ 演算における高分散勾配推定器の課題に対処すること。
• Gumbel-Softmax緩和が引き起こすバイアスを排除しつつ、訓練効率を維持すること。
• 和集合に基づく緩和が計算不能な構造的離散潜在空間に再パラメータ化技術を拡張すること。
• 離散VAEsにおける教師ありおよび教師なし設定の両方で直接最適化の有効性を示すこと。
• 直接損失最小化推定器の理論的裏付けが整った、正則性仮定を必要としない $\rceil\max$ 操作の証明を提供すること。

提案手法

• 離散VAEの目的関数を再パラメータ化するためにGumbel-Maxトリックを適用し、非微分可能な $\rceil\max$ 演算を導出する。
• 直接損失最小化アプローチを用いて、元の目的関数と摂動を加えた目的関数の間の最大化の差分により、$\rceil\max$ 関数を介した勾配推定を行う。
• 標準的なGumbel-Softmax緩和を直接最適化に置き換え、ソフトマックス正規化とその計算コストを回避する。
• 和集合が計算不能な場合でも、割り当てに関する tractable な最大化を実行することで、構造的離散潜在空間にこの手法を拡張する。
• 混合連続的・離散的潜在空間を想定した、エンコーダー構造を共有するVAEフレームワークに勾配推定器を統合する。
• 教師あり設定において、離散的意味を制御できるように、$\rceil\max$ の予測を損失関数を用いてキャリブレーションする。

実験結果

リサーチクエスチョン

• RQ1 最大化操作の差分による直接最適化が、$\rceil\max$ 操作を伴う離散VAEsに対して低分散・低バイアスな勾配推定器を提供できるか？
• RQ2 直接最適化は、非構造的離散VAEsにおける訓練安定性および生成品質の面でGumbel-Softmax緩和を上回るか？
• RQ3 ソフトマックス正規化が計算的に不可能な構造的離散潜在変数モデルに、直接最適化手法を拡張できるか？
• RQ4 弱教師あり設定において、直接最適化は画像生成における分離可能な離散的意味を学習するのにどの程度効果的か？
• RQ5 摂動パrameter $\epsilon$ が直接最適化手法の収束性および性能に与える影響は何か？

主な発見

• MNISTで1200ラベル付き例を使用した教師あり学習では、直接最適化法が96.8％の精度を達成し、Gumbel-Softmax（92.7％）を上回った。
• Fashion-MNISTで1200ラベル付き例を使用した場合、直接最適化法は73.7％の精度を達成したのに対し、Gumbel-Softmaxは73.2％であった。一貫した優位性が示された。
• MNISTにおけるテストバウンドは、直接最適化法で130.921、Gumbel-Softmaxで130.063を記録し、尤度推定の面でわずかに優れた性能を示した。
• 最大フローに基づく推論を用いた構造的VAEsでは、直接最適化法はCPLEXに基づく推論と同等の性能を達成したが、はるかに高速であった。85エポック目以降に優位性を示した。
• 弱教師あり学習により、離散的潜在コードの操作によって、眼鏡、笑顔、性別などの属性を制御可能な画像生成が可能になった。
• Gumbel-Softmaxが失敗する高次元の構造的空間においても、和集合ではなく最大化に依存することで、効率的な学習が可能になった。