[論文レビュー] Product of Orthogonal Spheres Parameterization for Disentangled Representation Learning

Ankita Shukla, Sarthak Bhagat+3 more|arXiv (Cornell University)|Jul 22, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 8

ひとこと要約

本稿では、潜在空間のブロック間における正規直交性を強制することで、分離表現学習を向上させる、直交球の積によるパrameterizationであるPrOSeを提案する。これにより、顕著な分離性の向上が達成される。本手法は、VAE やオートエンコーダーなどの既存フレームワークに容易に統合可能な単純な正規直交化項を損失関数に追加する。複数のベンチマークで最先端の性能を達成し、情報漏洩が低減され、滑らかな属性補間が可能となる。

ABSTRACT

Learning representations that can disentangle explanatory attributes underlying the data improves interpretabilty as well as provides control on data generation. Various learning frameworks such as VAEs, GANs and auto-encoders have been used in the literature to learn such representations. Most often, the latent space is constrained to a partitioned representation or structured by a prior to impose disentangling. In this work, we advance the use of a latent representation based on a product space of Orthogonal Spheres PrOSe. The PrOSe model is motivated by the reasoning that latent-variables related to the physics of image-formation can under certain relaxed assumptions lead to spherical-spaces. Orthogonality between the spheres is motivated via physical independence models. Imposing the orthogonal-sphere constraint is much simpler than other complicated physical models, is fairly general and flexible, and extensible beyond the factors used to motivate its development. Under further relaxed assumptions of equal-sized latent blocks per factor, the constraint can be written down in closed form as an ortho-normality term in the loss function. We show that our approach improves the quality of disentanglement significantly. We find consistent improvement in disentanglement compared to several state-of-the-art approaches, across several benchmarks and metrics.

研究の動機と目的

• 画像形成における物理的独立性を活用し、潜在因子を直交する球としてモデル化することで、分離表現学習を改善すること。
• 非ユークリッド的で複雑な潜在構造（例：グラスマン多様体、SO(3)）を、正規直交制約を課した球の積に簡略化すること。
• 分割された潜在空間における分離された属性間の情報漏洩を低減し、生成における解釈可能性と制御性を向上させること。
• VAE やオートエンコーダーなどの既存の分離フレームワークに統合可能な汎用的で軽量な正則化手法を開発すること。
• 潜在ブロックにおける正規直交性が、より明確な属性分離とより意味のある補間をもたらすことを実証的に検証すること。

提案手法

• 各因子の変動要因に対応する潜在空間を、直交する球の積としてパラメータライズする。
• 潜在ブロック間の正規直交性を微分可能な損失項により強制し、制約を閉形式の正則化に簡略化する。
• アーキテクチャの大幅な見直しを伴わずに、既存の分離フレームワーク（例：VAE、オートエンコーダー、MIX）に正規直交化項を統合する。
• 各因子ごとに等サイズの潜在ブロックを用いることで、正規直交性制約における解析的取り扱いやすさと対称性を確保する。
• β-VAE や Factor-VAE を含む、変分的およびオートエンコーダーに基づくモデルに本手法を適用し、広範な評価を実施する。
• t-SNE 視覚化、補間、属性予測タスクを用いて、分離性の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な分割潜在空間手法と比較して、直交球の積によるパラメータライズが分離性の質を向上させ得るか？
• RQ2 潜在ブロック間の正規直交性を強制することで、分離された属性間の情報漏洩が低減するか？
• RQ3 提案手法は、VAE やオートエンコーダーなどの既存の分離フレームワークにスムーズに統合可能か？
• RQ4 PrOSe は多様なデータセットにおいて、属性補間および分離性メトリクスの観点で、どのように性能を発揮するか？
• RQ5 正規直交性制約は、ベースラインと比較して、より意味的で滑らかな分離された生成をもたらすか？

主な発見

• t-SNE 図において、明確な属性分離が確認されたことから、PrOSe は MNIST、2D スプライト、CelebA など複数のベンチマークで顕著な分離性の向上を達成した。
• 補間結果から、顔の形状や表情など他の属性に意図しない変化を伴わず、滑らかで意味のある属性遷移が実現された。
• 属性予測モデルの誤分類率が上昇したため、PrOSe を用いることで、分離された要因間の情報漏洩が低減したと示唆された。
• β-VAE や Factor-VAE に適用した際、mAP メトリクスで最先端の性能を達成し、要因間の漏洩が低減された。
• 質的・定量的分析を通じて、生成画像の品質を維持したまま分離性が向上したことが検証された。
• 損失関数に単純な正規直交化項を追加するだけで、多様なアーキテクチャおよびデータセットで一貫した性能向上が得られた。