[論文レビュー] Training VAEs Under Structured Residuals

Garoe Dorta, Sara Vicente+3 more|arXiv (Cornell University)|Apr 3, 2018

Industrial Vision Systems and Defect Detection参考文献 28被引用数 6

ひとこと要約

本論文は、学習可能な共分散行列予測ネットワークを用いて構造的残差相関をモデル化する新しいVAEアーキテクチャを提案し、より現実的な画像生成と再構成を実現する。最小限のパラメータオーバーヘッドで尤度関数に構造的不確実性を組み込むことで、CelebAおよびLSUN Churchesデータセットにおいて、因子化ガウスVAEに比べて尤度と再構成品質が顕著に向上する。

ABSTRACT

Variational auto-encoders (VAEs) are a popular and powerful deep generative model. Previous works on VAEs have assumed a factorized likelihood model, whereby the output uncertainty of each pixel is assumed to be independent. This approximation is clearly limited as demonstrated by observing a residual image from a VAE reconstruction, which often possess a high level of structure. This paper demonstrates a novel scheme to incorporate a structured Gaussian likelihood prediction network within the VAE that allows the residual correlations to be modeled. Our novel architecture, with minimal increase in complexity, incorporates the covariance matrix prediction within the VAE. We also propose a new mechanism for allowing structured uncertainty on color images. Furthermore, we provide a scheme for effectively training this model, and include some suggestions for improving performance in terms of efficiency or modeling longer range correlations.

研究の動機と目的

• 因子化ガウス尤度の制限に対処すること。これは、各画素ごとの不確実性が独立であると仮定し、残差における空間的構造をモデル化できない。
• モデルの複雑性を著しく増加させることなく、VAEに構造的共分散予測をスケーラブルに組み込む手法を開発すること。
• 相関のある尤度を用いたVAEの有効な訓練を可能にし、局所的最適解を回避し、高周波数の画像ディテールにおける性能を向上させること。
• 色画像への構造的不確実性モデリングを、YCbCrに基づくアプローチを用いて拡張し、より良い知覚的品質を実現すること。

提案手法

• 潜在変数から全共分散行列を予測する専用サブネットワークを用いて、構造的ガウス尤度を統合した新しいVAEアーキテクチャを提案する。
• パラメータ効率の良い設計を採用し、全共分散行列の$O(n_p^2)$コストを回避する。
• ランプランスとクロミナスを分離するためYCbCr色空間変換を採用し、色画像における構造的不確実性モデリングを可能にする。
• VAEが分散を小さくすることを促すことで最適化を安定化させる訓練スキームを導入し、共分散による残差誤差のモデル化を避ける。
• [7]の共分散予測メカニズムを改善し、拡張畳み込みとスパarsityパターンを用いて長距離相関を効率的にモデル化する。
• 生成時に構造的ガウス尤度からサンプリングするための再パラメータ化トリックを適用し、微分可能な訓練を保証する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な共分散行列予測ネットワークを用いて、VAE再構成における構造的残差相関を効果的にモデル化できるか？
• RQ2 構造的不確実性を組み込むことで、因子化ガウス尤度に比べてVAEの尤度と再構成品質が向上するか？
• RQ3 共分散モデリングの複雑性が増加しても、本手法は訓練の安定性を維持し、悪い局所的最適解を回避できるか？
• RQ4 髪の毛やしわなどの高周波数画像ディテールに関して、標準VAEと比較して本モデルはどのように性能を発揮するか？
• RQ5 本手法は、知覚的品質と計算効率を保ちながら、色画像へと拡張可能か？

主な発見

• 構造的残差を備えた本手法VAEは、LSUN Churchesデータセットで$-6918 \pm 2423$の負の対数尤度を達成し、対角行列および球面尤度を用いたVAEを顕著に上回る。
• CelebAデータセットでは、しわや髪の毛といった高周波数ディテールが明瞭に再構成され、ベースラインVAEではぼやけたり欠落している部分が改善されている。
• LSUNでは再構成MSEを$614 \pm 286$まで低下させ、対角VAE（$728 \pm 327$）と$\beta$-VAE（$800 \pm 354$）を上回り、KLダイバージェンスは類似している。
• 本手法のサンプルは、知覚的品質が向上しており、標準VAEの過剰に滑らかな出力とは異なり、細かいテクスチャを捉えたより構造的なノイズを示す。
• 構造的不確実性ブランチは、教会の内部のような複雑なシーンですら、訓練の安定性を損なわず、複雑で空間的に相関のある残差を効果的にモデル化している。
• 本手法は、共分散予測ネットワークにおける拡張畳み込みとスパarsityパターンを用いて、長距離相関を効率的にモデル化可能である。