[論文レビュー] Degeneration in VAE: in the Light of Fisher Information Loss

Huangjie Zheng, Jiangchao Yao+2 more|arXiv (Cornell University)|Feb 19, 2018

Energy Load and Power Forecasting参考文献 23被引用数 15

ひとこと要約

本稿では、深層構造における劣化を軽減するためのスキップ接続を組み込んだ変分オートエンコーダーの変種、SCVAEを提案する。層別分析のためのフィッシャー情報量を導入することで、著者らは、順伝播ネットワークにおける情報損失が本質的に劣化を引き起こすことを示した。スキップ接続はモデルの複雑さを変えることなく情報を保持することができ、MNISTにおける表現学習および生成性能の向上に寄与する。

ABSTRACT

While enormous progress has been made to Variational Autoencoder (VAE) in recent years, similar to other deep networks, VAE with deep networks suffers from the problem of degeneration, which seriously weakens the correlation between the input and the corresponding latent codes, deviating from the goal of the representation learning. To investigate how degeneration affects VAE from a theoretical perspective, we illustrate the information transmission in VAE and analyze the intermediate layers of the encoders/decoders. Specifically, we propose a Fisher Information measure for the layer-wise analysis. With such measure, we demonstrate that information loss is ineluctable in feed-forward networks and causes the degeneration in VAE. We show that skip connections in VAE enable the preservation of information without changing the model architecture. We call this class of VAE equipped with skip connections as SCVAE and perform a range of experiments to show its advantages in information preservation and degeneration mitigation.

研究の動機と目的

• 深層変分オートエンコーダー（VAEs）における劣化の根本的原因を解明すること。具体的には、より深いネットワークが入力と潜在コードの相関を維持できなくなる理由を特定すること。
• 深層エンコーダ／デコーダ層における情報フローを測定する際、相互情報量の限界を克服すること。
• VAEにおける層別情報損失を定量化するためのフィッシャー情報に基づく指標を提案すること。
• スキップ接続が層間で情報を保持し、モデルの複雑さを変えることなく劣化を軽減することを示すこと。
• SCVAE（スキップ接続付きVAE）を、深層VAEにおける表現学習および生成性能の向上を図る、堅牢で互換性のある拡張手法として開発すること。

提案手法

• VAEのエンコーダおよびデコーダにおける隠れ層間の情報伝達損失を定量化するためのフィッシャー情報量を導入する。
• 各隠れ層の出力をパラメトリックな暗黙的分布としてモデル化し、層別分析に適したフィッシャー情報量を計算する。
• フィッシャー情報量指標を用いて、深層VAEにおける劣化を診断し、標準的な順伝播ネットワークでは情報損失が避けられないことを示す。
• VAEアーキテクチャにスキップ接続を統合し、SCVAEを構築することで、補完的な情報フローを実現し、入力と表現の整合性を保つ。
• 元のVAEアーキテクチャを維持したまま、エンコーダおよびデコーダの層間にスキップ接続を追加し、情報保持を向上させる。
• PixelVAE や VampPrior といった最先端のVAEと組み合わせたアブレーション実験および組み合わせ実験により、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、標準的な深層学習では利点をもたらす深層構造であっても、VAEでは深さが増すと劣化が生じるのか？
• RQ2 相互情報量が計算不能である場合に、VAEのエンコーダおよびデコーダの各層間における情報損失をどのように定量化できるか？
• RQ3 モデルの複雑さを変えることなく、スキップ接続が深層VAEにおける情報損失および劣化をどの程度軽減できるか？
• RQ4 より深い構造においても、SCVAEは表現学習および生成タスクの両方で優れた性能を維持できるか？
• RQ5 SCVAEは、既存の最先端VAE手法とどれほど互換性があり、それらの性能向上に寄与できるか？

主な発見

• VAEで用いられる順伝播ネットワークでは、情報損失が避けられないため、潜在コードと入力データの相関が失われる劣化が生じる。
• MNISTにおいて、SCVAEは80.19という最低のテスト負の対数尤度（NLL）と0.9588という最高の分類精度を達成し、標準VAEおよびVAE(p++)の各バージョンを上回った。
• SCVAEにおけるスキップ接続は、層間で情報を保持し、エンコーダおよびデコーダの両方で劣化を防ぐ。t-SNE可視化およびフィッシャー情報解析により、この事実が裏付けられた。
• SCVAEはエンコーダおよびデコーダの両方で豊富な情報を保持しており、高品質な再構成とコンパクトで意味のある潜在表現を実現している。
• PixelVAE や VampPrior と組み合わせた場合、SCVAEはさらに性能を向上させ、統合モデルでテストNLLが79.26、精度が0.9784に達した。
• フィッシャー情報量の測定により、標準VAEでは潜在コードの無視（例：PixelVAEでは顕著）が生じる一方、SCVAEは全層にわたりバランスの取れた情報フローを維持していることが明らかになった。