[論文レビュー] Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN)

Peter Sorrenson, Carsten Rother+1 more|arXiv (Cornell University)|Jan 14, 2020

Neural Networks and Applications参考文献 26被引用数 48

ひとこと要約

本論文は未知の潜在次元設定に非線形 ICA を拡張し、体積保存性を持つ可逆ネットワーク（GIN）を用いて、有益な潜在変数の回復を示し、EMNIST から 22 個の解釈可能な因子を含む情報量の多い潜在変数を回復する。

ABSTRACT

A central question of representation learning asks under which conditions it is possible to reconstruct the true latent variables of an arbitrarily complex generative process. Recent breakthrough work by Khemakhem et al. (2019) on nonlinear ICA has answered this question for a broad class of conditional generative processes. We extend this important result in a direction relevant for application to real-world data. First, we generalize the theory to the case of unknown intrinsic problem dimension and prove that in some special (but not very restrictive) cases, informative latent variables will be automatically separated from noise by an estimating model. Furthermore, the recovered informative latent variables will be in one-to-one correspondence with the true latent variables of the generating process, up to a trivial component-wise transformation. Second, we introduce a modification of the RealNVP invertible neural network architecture (Dinh et al. (2016)) which is particularly suitable for this type of problem: the General Incompressible-flow Network (GIN). Experiments on artificial data and EMNIST demonstrate that theoretical predictions are indeed verified in practice. In particular, we provide a detailed set of exactly 22 informative latent variables extracted from EMNIST.

研究の動機と目的

• 未知の本質的問題次元に対して非線形 ICA の識別性を一般化する。
• 非線形 ICA のタスクのために体積保存性を持つ可逆ネットワーク（GIN）を導入する。
• 有益な潜在変数が回復され、ノイズから分離できることを示す。
• 人工データと EMNIST データセット上で理論と手法を実証する。

提案手法

• 潜在変数 z と条件 u を用いた非線形 ICA を、ノイズ空間 x = f(z, ε) とともに定式化する。
• 推定モデル g（可逆ニューラルネットワーク）を用い、w = g^{-1}(x; θ) によってデータを潜在空間へ写像し戻す。
• GIN でヤコビ行列式を単位に保つよう RealNVP を修正して体積保存を課す。
• z|u および w|u に条件付き指数族分布を仮定し、十分統計量 T および T' を持つとき、識別性の下でそれらのアフィン関係を導く（T(z) = A T'(w) + c）。
• 潜在空間がガウス分布の場合、z_i は平行移動と拡大/縮小により単一の w_j に対応することを示し、 内在次元の発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成潜在空間の内在次元が未知であっても回復可能か？
• RQ2 条件付けを伴う非線形 ICA において、情報量のある潜在変数がノイズから解離できるのか？
• RQ3 体積保存型の可逆ネットワーク（GIN）は、真の潜在変数を単純な変換まで回復できるのか？
• RQ4 実践的には理論はガウス（および2パラメータ指数族）潜在空間へどのように拡張されるのか？

主な発見

• この理論は未知の内在次元へ非線形 ICA を拡張し、生成潜在空間の次元を発見可能にする。
• General Incompressible-flow Network (GIN) を、非線形 ICA のための体積保存 RealNVP の派生として提案する。
• ガウス潜在空間では、生成潜在変数は訳単に1つの推定潜在変数から平行移動と拡大縮小までで回復され、使われない推定はノイズを符号化する。
• 人工データの実験は、混合成分が十分に重なると情報量の多い変数がノイズから分離されることを示す。
• EMNIST では、GIN は 22 個の情報量の多い潜在変数を抽出する。8 個のグローバル、14 個のローカルで、数字に対して解釈可能な効果を持つ。
• 学習された潜在変数は、理論仮定からのずれにもかかわらず解釈可能性を保ち、アプローチの実用性を示している。