[論文レビュー] Disentangled Representation Learning and Generation with Manifold Optimization

Arun Pandey, Michaël Fanuel+2 more|arXiv (Cornell University)|Jun 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 6

ひとこと要約

本稿では、潜在空間における変動の直交方向を強制するため、Stiefel多様体上の多様体最適化を用いる、分離表現学習フレームワークSt-RKMを提案する。これにより、標準的なVAEを上回る分離性と生成品質が向上する。自己符号化器損失と特徴空間におけるPCAベースの再構成誤差を組み合わせることで、潜在空間における主成分が直交するデータの変動と一致し、最小限の計算コストでベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Disentanglement is a useful property in representation learning which increases the interpretability of generative models such as Variational autoencoders (VAE), Generative Adversarial Models, and their many variants. Typically in such models, an increase in disentanglement performance is traded-off with generation quality. In the context of latent space models, this work presents a representation learning framework that explicitly promotes disentanglement by encouraging orthogonal directions of variations. The proposed objective is the sum of an autoencoder error term along with a Principal Component Analysis reconstruction error in the feature space. This has an interpretation of a Restricted Kernel Machine with the eigenvector matrix-valued on the Stiefel manifold. Our analysis shows that such a construction promotes disentanglement by matching the principal directions in the latent space with the directions of orthogonal variation in data space. In an alternating minimization scheme, we use Cayley ADAM algorithm - a stochastic optimization method on the Stiefel manifold along with the ADAM optimizer. Our theoretical discussion and various experiments show that the proposed model improves over many VAE variants in terms of both generation quality and disentangled representation learning.

研究の動機と目的

• 変分自己符号化器における分離性と生成品質のトレードオフを解消すること。
• 潜在空間における直交する変動を明示的に促進する表現学習フレームワークの開発。
• 自己符号化器学習に多様体最適化を統合し、潜在表現に構造的制約を強制すること。
• 複雑なアーキテクチャの変更を要せず、サンプル品質を損なわず、解釈可能性と分離性を向上させること。
• 主成分分析、カーネル法、および分離表現の間の理論的・実証的関係を確立すること。

提案手法

• モデルは、標準的な自己符号化器再構成損失と、特徴空間における主成分分析（PCA）再構成誤差を組み合わせたハイブリッド目的関数を用いる。
• 潜在空間における主成分方向の直交性を強制するために、Stiefel多様体上で最適化が行われる。
• Stiefel多様体上での確率的最適化に、Cayley ADAMアルゴリズムが採用され、多様体制約と適応的学習が統合される。
• 固有ベクトル行列をStiefel多様体に制約した制限付きカーネルマシン（RKM）としてフレームワークが定式化される。
• エンコーダ／デコーダのパラメータと直交基底行列の間で交互最小化が行われ、幾何的制約を通じて分離性が保証される。
• 潜在空間の方向がデータ空間における直交する変動に対応するように、微分可能で一貫した目的関数を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 Stiefel多様体上での明示的な多様体最適化は、変分自己符号化器における分離性を向上させると同時に、高品質な生成を維持できるか？
• RQ2 潜在空間における主成分の直交性を強制することで、学習された表現の解釈可能性と分離性はどのように影響を受けるか？
• RQ3 提案されたSt-RKMフレームワークは、標準的なVAEやβ-VAEに比べて、分離性指標およびサンプル品質の面でどの程度優れているか？
• RQ4 自己符号化器再構成とPCAベースの正則化を組み合わせることで、データ要因の分離性はどの程度向上するか？
• RQ5 3DShapes、D-Sprites、Cars3Dといった多様なデータセットにおいて、St-RKMの完全性、分離性、情報量の観点での性能はいかがなっているか？

主な発見

• St-RKMモデルは、評価されたすべてのデータセットでベースラインモデルを上回る平均的な分離性と完全性スコアを達成し、特にSt-RKM-slバージョンで最高のMIGおよびSAPスコアが観測された。
• 3DShapesデータセットでは、St-RKMは床色、壁色、方向を完璧に捉えているが、β-VAEは床色を除きすべての次元でエンタングルメントを示し、ノイズの多い画像を生成している。
• 生成品質を損なわず分離性を向上させることに成功し、VAEベースの表現学習における重要なトレードオフを効果的に是正した。
• St-RKMはβ-VAEと比較してわずかに訓練時間を延長するにとどまり、多様体最適化を経ても計算効率が高く保たれている。
• ラッソ回帰器を用いた場合、St-RKMの情報量スコアはベースラインを上回っており、ランダムフォレスト回帰器を用いた場合でも混合的だが競争力のある結果を示しており、評価手法にかかわらず堅牢であることが確認された。
• 潜在空間の各主成分に対するトレースの可視化により、入力空間における1つの解釈可能な要因（例：物体のスケールや壁の色）に対応していることが確認された。