[논문 리뷰] Disentanglement by Nonlinear ICA with General Incompressible-flow Networks (GIN)

Peter Sorrenson, Carsten Rother외 1명|arXiv (Cornell University)|2020. 01. 14.

Neural Networks and Applications참고 문헌 26인용 수 48

한 줄 요약

논문은 volume-preserving invertible network (GIN)을 사용해 unknown latent-dimension 설정에 비선형 ICA를 확장하고, 정보량이 풍부한 잠재 변수의 회복을 보여주며, EMNIST로부터 22개의 해석 가능한 요인을 포함한다.

ABSTRACT

A central question of representation learning asks under which conditions it is possible to reconstruct the true latent variables of an arbitrarily complex generative process. Recent breakthrough work by Khemakhem et al. (2019) on nonlinear ICA has answered this question for a broad class of conditional generative processes. We extend this important result in a direction relevant for application to real-world data. First, we generalize the theory to the case of unknown intrinsic problem dimension and prove that in some special (but not very restrictive) cases, informative latent variables will be automatically separated from noise by an estimating model. Furthermore, the recovered informative latent variables will be in one-to-one correspondence with the true latent variables of the generating process, up to a trivial component-wise transformation. Second, we introduce a modification of the RealNVP invertible neural network architecture (Dinh et al. (2016)) which is particularly suitable for this type of problem: the General Incompressible-flow Network (GIN). Experiments on artificial data and EMNIST demonstrate that theoretical predictions are indeed verified in practice. In particular, we provide a detailed set of exactly 22 informative latent variables extracted from EMNIST.

연구 동기 및 목표

• 일반화된 비선형 ICA 식별성을 알려진 내재 문제 차원으로 일반화한다.
• 비선형 ICA 작업을 위한 volume-preserving invertible 네트워크 (GIN)를 도입한다.
• 정보량이 풍부한 잠재 변수들이 잡음에서 회복되고 구분될 수 있음을 보여준다.
• 이론과 방법을 인공 데이터와 EMNIST 데이터셋에서 시연한다.

제안 방법

• latent z와 조건 u가 있는 비선형 ICA를 정의하고 x = f(z, ε)인 노이즈 공간을 설정한다.
• 데이터를 잠재 공간으로 매핑하기 위해 w = g^{-1}(x; θ)인 추정 모델 g(정역 네트워크)를 사용한다.
• GIN에서 단위 야코비안 행렬식이 되도록 RealNVP를 수정하여 부피 보존을 강제한다.
• z|u 및 w|u에 대한 조건부 지수족 분포를 가정하고 충분 통계량 T와 T'을 도입하며, 식별성 아래의 선형 관계(T(z) = A T'(w) + c)를 도출한다.
• 잠재 공간이 가우시안인 경우, z_i가 이동 및 스케일링에 의해 단일 w_j에 대응하여 내재 차원 발견을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 잠재 공간의 고유 차원(내재 차원)이 알려지지 않아도 회복될 수 있는가?

주요 결과

• 이론은 알려진 내재 차원으로 비선형 ICA를 확장하여 생성 잠재 공간 차원을 발견할 수 있게 한다.
• General Incompressible-flow Network (GIN)을 비선형 ICA를 위한 volume-preserving RealNVP 변형으로 제안한다.
• 가우시안 잠재 공간에서 각 생성 잠재 변수는 변환 없이 정확히 하나의 추정 잠재 변수로 회복되며, 여분의 추정값은 노이즈를 암호화한다.
• 실험에서 합성 데이터는 혼합 구성요소가 충분히 겹칠 때 정보 변수들이 노이즈로부터 구분된다.
• EMNIST에서 GIN은 22개의 정보 잠재 변수를 추출한다; 8개의 글로벌 및 14개의 로컬로, 숫자에 해석 가능한 효과를 보인다.
• 학습된 잠재 변수는 이론 가정의 편차에도 불구하고 해석 가능성을 유지하여 제안된 접근의 실용적 타당성을 시사한다.