[論文レビュー] The Information Autoencoding Family: A Lagrangian Perspective on Latent Variable Generative Models

Shengjia Zhao, Jiaming Song+1 more|arXiv (Cornell University)|Jun 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 37

ひとこと要約

本稿では、VAE、GAN、InfoGANといった多様な潜在変数生成モデルが、1つの制約付き最適化問題の双対関数として統一可能であることを示すことにより、統一されたラグランジュフレームワークを提案する。モデルパラメータとラグランジュ乗数を同時に最適化することで、相互情報量と制約の満たし方の間でパレート最適なトレードオフを達成し、InfoVAEなどの既存手法よりも相互情報量と一貫性の両方の指標で優れている。

ABSTRACT

A large number of objectives have been proposed to train latent variable generative models. We show that many of them are Lagrangian dual functions of the same primal optimization problem. The primal problem optimizes the mutual information between latent and visible variables, subject to the constraints of accurately modeling the data distribution and performing correct amortized inference. By choosing to maximize or minimize mutual information, and choosing different Lagrange multipliers, we obtain different objectives including InfoGAN, ALI/BiGAN, ALICE, CycleGAN, beta-VAE, adversarial autoencoders, AVB, AS-VAE and InfoVAE. Based on this observation, we provide an exhaustive characterization of the statistical and computational trade-offs made by all the training objectives in this class of Lagrangian duals. Next, we propose a dual optimization method where we optimize model parameters as well as the Lagrange multipliers. This method achieves Pareto optimal solutions in terms of optimizing information and satisfying the constraints.

研究の動機と目的

• 広範な潜在変数生成モデルを1つの最適化フレームワークで統一すること。
• VAE、GAN、InfoGANなどの既存の学習目的に内在する統計的・計算的トレードオフを特定すること。
• 既存手法における固定されたラグランジュ乗数の限界を解決すること。これは強双対性を妨げ、最適な性能を達成できない原因となる。
• モデルパラメータとラグランジュ乗数を同時に学習する双対最適化手法を開発し、制約の満たし方と情報最適化の両面で改善を図ること。
• 提案手法が、相互情報量と一貫性の両方の指標において、既存手法（例：InfoVAE）をパレート優越することを実証的に示すこと。

提案手法

• 潜在変数と観測変数の間の相互情報量を最大化または最小化する目的関数を定式化し、データ分布とアモアタイズド推論に関する一貫性制約を課す、プライマル最適化問題を提示する。
• このプライマル問題のラグランジュ双対関数を導出し、既存の目的関数（例：InfoVAE、ALI、CycleGAN）が、ラグランジュ乗数の異なる選択肢のもとで特殊ケースとして現れることを示す。
• モデルパラメータとラグランジュ乗数を同時に最適化する双対最適化アルゴリズムを提案し、分布空間において強双対性が成立することを保証する。
• Lagrangian VAE（LagVAE）を導入し、InfoVAEの目的関数を実用的なインスタンスとして具体化。これにより、相互情報量と制約の満たし方の間で明示的なトレードオフが可能になる。
• MMDとELBOを一貫性制約として採用し、制約違反の許容度を制御するスラック変数を導入する。
• ラグランジュ乗数α₁の符号に基づく制御を用い、実行可能集合内での相互情報量の最大化または最小化を決定する。

実験結果

リサーチクエスチョン

• RQ1 多様な潜在変数生成モデルは、1つの最適化フレームワークで統一可能か？
• RQ2 VAE、GAN、InfoGANなどの既存の学習目的に内在する統計的・計算的トレードオフは何か？
• RQ3 既存手法における固定されたラグランジュ乗数が、劣悪な性能と予測不能なトレードオフを引き起こす理由は何か？
• RQ4 モデルパラメータとラグランジュ乗数を同時に最適化することで、相互情報量と制約の満たし方の両面でパレート最適な解を得られるか？
• RQ5 提案された双対最適化手法は、InfoVAEなどの既存手法よりも、相互情報量と一貫性の両方の指標で優れているか？

主な発見

• 検討された生成モデル（VAE、GAN、InfoGANなど）は、すべて同じプライマル最適化問題のラグランジュ双対関数として示された。
• ラグランジュ乗数α₁の符号が、相互情報量を最大化するか最小化するかを決定するが、その大きさは結果に影響しない。
• Lagrangian VAE（LagVAE）は、一貫性制約によって定義される実行可能集合内で、最大または最小の相互情報量を確実に達成する。
• 訓練およびテストセットの両方において、LagVAEはすべてのハイパーパramータ設定におけるInfoVAEをパレート優越する：どのInfoVAEの設定でも、相互情報量とELBOの両方でより良い性能を達成することはできない。
• 実証的結果から、任意のELBO値に対して、LagVAEは相互情報量を最大化する際には同等または高い、最小化する際には同等または低い相互情報量を達成することが示された。
• 本手法は分布空間において強双対性を達成し、双対最適化手順が制約を満たしながら、プライマル問題を最適に解くことを保証する。