[論文レビュー] Commutative Lie Group VAE for Disentanglement Learning

Xinqi Zhu, Chang Xu+1 more|arXiv (Cornell University)|Jun 7, 2021

Digital Media Forensic Detection参考文献 42被引用数 6

ひとこと要約

本稿では、固定されたベクトル空間の代わりに、適応的な群構造を用いてデータの変動をモデル化する、コンmutative Lie群変分オートエンコーダー（CLG-VAE）を用いた新しい非教師付き分解能手法を提案する。Lie代数による群のパrameter化と、可換分解とヘッセ行列ペナルティの制約を課すことで、統計的独立性の制約なしにDSpritesおよび3DShapesで最先端の分解能性能を達成する。

ABSTRACT

We view disentanglement learning as discovering an underlying structure that equivariantly reflects the factorized variations shown in data. Traditionally, such a structure is fixed to be a vector space with data variations represented by translations along individual latent dimensions. We argue this simple structure is suboptimal since it requires the model to learn to discard the properties (e.g. different scales of changes, different levels of abstractness) of data variations, which is an extra work than equivariance learning. Instead, we propose to encode the data variations with groups, a structure not only can equivariantly represent variations, but can also be adaptively optimized to preserve the properties of data variations. Considering it is hard to conduct training on group structures, we focus on Lie groups and adopt a parameterization using Lie algebra. Based on the parameterization, some disentanglement learning constraints are naturally derived. A simple model named Commutative Lie Group VAE is introduced to realize the group-based disentanglement learning. Experiments show that our model can effectively learn disentangled representations without supervision, and can achieve state-of-the-art performance without extra constraints.

研究の動機と目的

• 固定されたベクトル空間表現の非最適性を是正するため、データの変動を適応的な群構造でモデル化すること。
• 剛体的なベクトル空間の平行移動の代わりに、群作用による等変性表現を学習することで、非教師付き分解能を実現すること。
• Lie群理論から導かれる実用的な訓練制約を導出し、自然に分解能を促進すること。
• 統計的独立性に依存せずに、群に基づく表現学習が最先端の分解能性能を達成できることを示すこと。
• 標準的な最適化手法で利用可能な、シンプルで効果的なVAEの変種（ボトルネック-VAE）を提供すること。

提案手法

• 群に基づく学習のための訓練目的を簡素化するため、log p(x) の新しい下界を提案し、ボトルネック-VAE（群に基づく学習に特化したVAEの変種）を導出する。
• Lie代数のパrameter化を用いて、群の要素を線形空間に写像し、Lie群上での微分可能な最適化とサンプリングを可能にする。
• 群構造の仮定から導かれる2つの自然な制約を導入する：1パラメータ部分群の分解とヘッセ行列ペナルティ。
• ボトルネック-VAEのデコーダーに、可換分解制約を課した指数写像層を追加することで、コンミュタティブ・リー群VAEを構築する。
• 指数写像を用いて、学習されたLie代数のベクトルを、分解能されたデータ変動を表す群要素に変換する。
• Lie群の可換性に依存することで、分解を簡素化し、構造的制約によって分解能を強制する。

実験結果

リサーチクエスチョン

• RQ1 適応的な群構造は、固定されたベクトル空間を上回る性能を示せるか？
• RQ2 群論的等変性を活用することで、統計的独立性の制約なしに分解能を達成できるか？
• RQ3 Lie代数のパrameter化は、群に基づく生成モデルの実用的訓練を可能にするか？
• RQ4 ヘッセ行列ペナルティや1パラメータ部分群の分解といった群に基づく制約は、分解能の質にどのように影響するか？
• RQ5 提案されたモデルは、教師なし条件下で複雑な現実世界のデータセットにも一般化可能か？

主な発見

• 提案されたコンミュタティブ・リー群VAEは、統計的独立性の制約なしに、DSpritesおよび3DShapesデータセットで最先端の性能を達成する。
• DSpritesでは、比較対象のすべての手法の中で最高のFVMスコアを達成し、優れた分解能の質を示している。
• CelebAでは、FactorVAEでエンタングルされている顔の髪型やメイクといった、より明確で解釈可能な意味的属性を同定している。
• Mnistでは、数字の大きさや曲がり具合といった意味のある連続的変動を学習しており、特に数字4に対しては「リフト」現象という新しい概念を捉えている。
• 3DChairsでは、異なる理論的基盤を持つが、CascadeVAEと同等の分解能性能を達成している。
• 定性的な結果から、本モデルは背景の概念と顔の属性を効果的に分解しており、ベースラインモデルとは異なり、エンタングルメントが持続しないことが示された。