[論文レビュー] LIA: Latently Invertible Autoencoder with Adversarial Learning

Jiapeng Zhu, Deli Zhao+2 more|arXiv (Cornell University)|Sep 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 13

ひとこと要約

本稿では、VAEの潜在空間に対称的な可逆ネットワークを埋め込むことで、実画像の分離可能で可逆な符号化を可能にする、GANベースの新規フレームワークであるLatently Invertible Autoencoder (LIA) を提案する。デコーダーをGANとして事前学習し、その後に分離可能なオートエノードラの部分符号化器を学習することで、VAE/GANのエンタングルメント問題を回避し、FFHQおよびLSUNデータセットにおいて高精細な画像生成と再構成を実現する。

ABSTRACT

Generative Adversarial Networks (GANs) play an increasingly important role in machine learning. However, there is one fundamental issue hindering their practical applications: the absence of capability for encoding real-world samples. The conventional way of addressing this issue is to learn an encoder for GAN via Variational Auto-Encoder (VAE). In this paper, we show that the entanglement of the latent space for the VAE/GAN framework poses the main challenge for encoder learning. To address the entanglement issue and enable inference in GAN we propose a novel algorithm named Latently Invertible Autoencoder (LIA). The framework of LIA is that an invertible network and its inverse mapping are symmetrically embedded in the latent space of VAE. The decoder of LIA is first trained as a standard GAN with the invertible network and then the partial encoder is learned from a disentangled autoencoder by detaching the invertible network from LIA, thus avoiding the entanglement problem caused by the random latent space. Experiments conducted on the FFHQ face dataset and three LSUN datasets validate the effectiveness of LIA/GAN.

研究の動機と目的

• GANが実世界の画像を符号化する際の根本的制限、すなわち可逆推論の欠如に起因する問題を解決すること。
• VAE/GANフレームワークにおける潜在空間のエンタングルメントが、効果的な符号化器学習の主な障壁であると特定すること。
• VAEのエンタングルド潜在空間から符号化器学習を分離することで、分離可能で可逆な符号化を可能にする手法を開発すること。
• GAN学習と可逆オートエノードラの組み合わせにより、高品質な画像生成と再構成を達成すること。
• FFHQおよびLSUNデータセットを含む多様なベンチマークでフレームワークを検証し、従来のVAE/GANアプローチを上回る性能を示すこと。

提案手法

• LIAはVAEの潜在空間内に、対称的な可逆ネットワークとその逆写像を埋め込み、潜在コードからの正確な再構成を可能にする。
• デコーダーは、潜在コードを実画像にマッピングするための対称的可逆ネットワークを用いて、標準的なGANとして事前学習される。
• GAN学習が終了した後、可逆ネットワークが分離され、実画像を潜在コードにマッピングする部分符号化器が、分離可能な潜在空間上で学習される。
• 符号化器を独立して学習することで、標準的なVAEにおけるランダムノイズによるエンタングルメントを回避し、分離可能な潜在空間を維持する。
• 対称的可逆マッピングを通じて可逆性と分離性を維持しながら、画像品質向上のための対抗的学習をフレームワークが活用する。
• 学習された符号化器が、可逆構造と分離可能な表現を活用することで、実画像の高精度な再構成を保証する。

実験結果

リサーチクエスチョン

• RQ1 VAEのエンタングルド潜在空間から符号化器学習を分離することで、GANベースのフレームワークが可逆的かつ分離可能な画像符号化を達成できるか？
• RQ2 潜在空間に対称的可逆ネットワークを用いることで、GANにおける画像再構成の忠実度と分離性が向上するか？
• RQ3 標準的なVAE/GANフレームワークと比較して、LIAは画像生成品質および再構成精度において優れているか？
• RQ4 提案手法は、アーキテクチャの変更なしに、FFHQやLSUNのような多様なデータセットに一般化可能か？
• RQ5 分離可能なオートエノードラ学習によるエンタングルメントの除去が、GANベースの画像生成性能に与える影響は何か？

主な発見

• LIAは、VAEのエンタングルド潜在空間から符号化器学習を分離することで、GANにおける可逆的かつ分離可能な符号化を成功裏に実現した。
• FFHQ顔データセットにおいて、LIAは高精細な画像生成と再構成を達成し、優れた知覚的品質を示した。
• 分離可能なオートエノードラ学習によるエンタングルメント回避により、LIAは標準的なVAE/GANフレームワークを上回る再構成忠実度を達成した。
• 対称的可逆ネットワークの使用により、潜在コードからの正確な再構成が保証され、GANにおける信頼性の高い推論が可能になった。
• LSUNデータセットにおける実験により、LIAの多様な画像ドメインへの一般化能力が確認された。
• LIAが学習した分離可能な潜在空間は、画像属性の意味的な補間と操作を可能にし、より優れた分離性を示している。