[論文レビュー] Decoupling Global and Local Representations via Invertible Generative Flows

Xuezhe Ma, Xiang Kong+2 more|arXiv (Cornell University)|Apr 11, 2020

Algorithms and Data Compression参考文献 56被引用数 5

ひとこと要約

この論文では、可逆フローに基づくデコーダーを用いて、グローバル表現とローカル表現を分離することで、コンテンツとスタイルに類似した特徴を教師なしで分離可能な、新しいVAEベースの生成モデルを提案する。グローバルな潜在コードに条件付けられたフローネットワークを埋め込むことで、フローデザインを除いて追加のアーキテクチャ的変更や明示的教師信号を必要とせず、表現学習と制御可能な画像生成において最先端の性能を達成する。

ABSTRACT

In this work, we propose a new generative model that is capable of automatically decoupling global and local representations of images in an entirely unsupervised setting, by embedding a generative flow in the VAE framework to model the decoder. Specifically, the proposed model utilizes the variational auto-encoding framework to learn a (low-dimensional) vector of latent variables to capture the global information of an image, which is fed as a conditional input to a flow-based invertible decoder with architecture borrowed from style transfer literature. Experimental results on standard image benchmarks demonstrate the effectiveness of our model in terms of density estimation, image generation and unsupervised representation learning. Importantly, this work demonstrates that with only architectural inductive biases, a generative model with a likelihood-based objective is capable of learning decoupled representations, requiring no explicit supervision. The code for our model is available at https://github.com/XuezheMax/wolf.

研究の動機と目的

• 教師なしで、グローバル（コンテンツに類似）およびローカル（スタイルに類似）の画像表現を自動的に分離可能な生成モデルを開発すること。
• 明示的教師信号を用いずに、アーキテクチャ上のインダクティブバイアスのみで、尤度に基づく生成モデルにおいて分離可能な表現学習が可能かどうかを検証すること。
• VAEと可逆フローの組み合わせにより、複雑で分離可能なデータ分布をモデル化することで、画像生成と表現学習を向上させること。
• 分離された潜在表現を用いて、画像スイッチングや補間といった制御可能な画像操作を可能にすること。

提案手法

• グローバルな潜在コード $ z $ が高レベルの画像構造を捉え、それをフローベースのデコーダーの条件付き入力として用いるVAEフレームワークを採用する。
• デコーダーは、ニューラルスタイル転送にインspiredされた可逆フローネットワークであり、正確な尤度計算と潜在空間から画像空間への可逆変換を可能にする。
• フロー構造のおかげで、$ z $ に条件付けられたことでグローバル属性を制御し、同時にフローがローカルな変動を学習するため、分離可能な生成が実現される。
• 変分推論の枠組みでELBOを最適化し、エンコーダーとして $ q_\phi(z|x) $ と、デコーダーとしてフローベースの $ p_\theta(x|z) $ を使用する。
• 可逆フローのおかげで正確な密度推定が可能であり、$ z $ を操作することで2次元補間や画像スイッチングが可能になる。
• この手法は、アーキテクチャ上のインダクティブバイアス（例：フロー構造と条件付け）にのみ依存し、分離のための追加の教師信号や損失項は不要である。

実験結果

リサーチクエスチョン

• RQ1 尤度に基づく生成モデルが、明示的教師信号を一切用いずに、アーキテクチャ上のインダクティブバイアスのみでグローバルおよびローカル表現を分離可能に学習できるか？
• RQ2 グローバルな潜在コードに条件付けられたフローベースのデコーダーは、教師なしの表現学習と画像生成においてどの程度の性能を示すか？
• RQ3 このモデルが、画像間でグローバル特徴を交換するといった制御可能な画像操作をどの程度サポートできるか？
• RQ4 提案されたアーキテクチャは、標準的なVAEや他のフローに基づくモデルと比較して、分離性と表現品質の両面で優れているか？

主な発見

• 線形評価ベンチマークにおいて、本モデルは59.53%の表現学習精度を達成し、先行手法（VAE: 39.59%、BiGAN: 44.90%）を顕著に上回った。
• CIFAR-10、ImageNet、LSUN Bedroom、CelebA-HQの各データセットにおいて、優れた画像生成品質と密度推定性能を示した。
• 2つの画像間でグローバル表現を交換するスイッチ操作は、多様なデータセットで視覚的に整合性のある結果を生成し、効果的な分離を示している。
• 実画像間の2次元補間が可能であり、グローバルおよびローカル特徴に対する分離可能な制御が滑らかな遷移を反映している。
• フローポテンシャル変数 $ \upsilon $ を用いた場合の表現精度は17.16%であったことから、$ z $ が意味のある分離可能なグローバル情報を単独で捉えていることが確認された。
• 結果から、明示的な分離損失を用いずに、アーキテクチャ上のインダクティブバイアスのみで、グローバルおよびローカル画像表現の効果的な教師なし分離が可能であることが示された。