[論文レビュー] Gacs-Korner Common Information Variational Autoencoder

Michael Kleinman, Alessandro Achille+2 more|arXiv (Cornell University)|May 24, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、確率的最適化目的関数を通じてGács-Körner共通情報の近似を行うことで、多視点データを意味的に明確な共通要因と固有要因に分解する、GK-VAEと呼ばれる変分オートエンコーダフレームワークを提案する。この手法により、画像や動画などの高次元データにおける分離表現学習が可能となり、真の要因の回復に実証的に成功し、固有情報を保持する点で対照的学習を上回る性能を示す。

ABSTRACT

We propose a notion of common information that allows one to quantify and separate the information that is shared between two random variables from the information that is unique to each. Our notion of common information is defined by an optimization problem over a family of functions and recovers the Gács-Körner common information as a special case. Importantly, our notion can be approximated empirically using samples from the underlying data distribution. We then provide a method to partition and quantify the common and unique information using a simple modification of a traditional variational auto-encoder. Empirically, we demonstrate that our formulation allows us to learn semantically meaningful common and unique factors of variation even on high-dimensional data such as images and videos. Moreover, on datasets where ground-truth latent factors are known, we show that we can accurately quantify the common information between the random variables.

研究の動機と目的

• 高次元データからGács-Körner共通情報を近似するスケーラブルな手法を開発すること。これは、従来、実用的な計算手法が存在しなかった。
• Gács-Körner定義の変分的緩和を用いて、多視点データを共有（共通）および個別（固有）の潜在要因に分解すること。
• 画像や動画などの高次元センサリデータにおける意味的要因の教師なし・自己教師あり分離表現学習を可能にすること。
• 共通要因および固有要因の両方のサンプリングと操作が可能な生成モデルを提供し、下流タスクを支援すること。
• 固有情報を保持することで、その情報を破棄する対照的学習を上回る性能が得られることを示すこと。

提案手法

• Gács-Körner共通情報定義の変分的緩和を提案し、決定的関数の代わりに確率的マッピングを可能にする。
• 標準的なVAEを変更し、共通潜在変数 $ z_c $ を両方の入力の関数として持つ共通潜在変数を共有する、共通および固有の潜在変数のための別個のエンコーダを導入する。
• 共通潜在変数と各入力間の相互情報量を用いて、Gács-Körner共通情報をKLDベースの目的関数で近似する。
• 共通および固有の潜在変数 $ z_{u1}, z_{u2} $ を別々に持つ多視点VAEアーキテクチャを採用し、視点固有の要因の変動を捉える。
• 再構成誤差、共通情報最大化、固有情報モデリングのバランスを取る損失関数を最適化する。
• dSprites や 3dShapes のようなデータセットからのペア視点および動画シーケンスの時間的フレームに、学習された潜在変数を用いて時間的経過に伴う共通情報の定量的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 Gács-Körner共通情報は、画像や動画などの高次元で現実世界のデータから効果的に近似可能か？
• RQ2 変分オートエンコーダをどのように変更すれば、多視点データにおける共通および固有の要因を同時に分離可能か？
• RQ3 固有情報を保持することで、その情報を破棄する対照的学習よりも優れた表現学習が達成可能か？
• RQ4 合成データセットにおける真の分離要因が分かっている場合、本手法はそれらを回復できるか？
• RQ5 動画シーケンスにおいて、共通情報は時間経過とともにどのように変化するか？また、モデルはその減少を定量的に評価できるか？

主な発見

• GK-VAEは、画像や動画データにおける意味的に明確な共通要因と固有要因を学習でき、潜在空間の分離性に関する定性的分析でその有効性を示している。
• dSpritesおよび3dShapesデータセットにおいて、共有潜在空間に真の共通要因（例：数字のクラス、形状、色）を正確に回復している。
• 固有潜在変数は視点固有の属性（例：回転、厚さ）を捉えており、モデルは潜在コードからそれらを復元可能である。
• 対照的学習とは異なり、10個のビンに離散化された数字の回転角度を回復できないが、GK-VAEは両方の視点から固有情報を成功裏に復元している。
• 動画実験では、フレーム間の共通情報が時間遅延が増すに従い減少することが示され、時間経過に伴う相関の低下と整合的である。
• 従来、高次元データでは計算が困難であったGács-Körner共通情報のスケーラブルな近似を提供している。