[논문 리뷰] Gacs-Korner Common Information Variational Autoencoder

Michael Kleinman, Alessandro Achille외 2명|arXiv (Cornell University)|2022. 05. 24.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 Gács-Körner 공통 정보를 확률적 최적화 목표로 근사함으로써 다중 시야 데이터를 의미 있는 공통 요소와 고유 요소로 분해하는 변분 오토인코더 프레임워크인 GK-VAE를 제안한다. 이 방법은 이미지 및 영상과 같은 고차원 데이터에서 분리된 표현 학습을 가능하게 하며, 실제 요소를 복원하는 데 있어 실험적으로 성공하고 있으며, 고유 정보를 유지함으로써 대조 학습을 능가한다.

ABSTRACT

We propose a notion of common information that allows one to quantify and separate the information that is shared between two random variables from the information that is unique to each. Our notion of common information is defined by an optimization problem over a family of functions and recovers the Gács-Körner common information as a special case. Importantly, our notion can be approximated empirically using samples from the underlying data distribution. We then provide a method to partition and quantify the common and unique information using a simple modification of a traditional variational auto-encoder. Empirically, we demonstrate that our formulation allows us to learn semantically meaningful common and unique factors of variation even on high-dimensional data such as images and videos. Moreover, on datasets where ground-truth latent factors are known, we show that we can accurately quantify the common information between the random variables.

연구 동기 및 목표

• 이전에 실용적인 계산 방법이 없었던 고차원 데이터에서 Gács-Körner 공통 정보를 스케일러블하게 근사화하는 방법을 개발하는 것.
• Gács-Körner 정의의 변분 이완을 사용하여 다중 시야 데이터를 공유(공통) 및 개별(고유) 잠재 요소로 분해하는 것.
• 이미지 및 영상과 같은 고차원 감각 데이터에서 의미 있는 요소의 무 supervision 및 self-supervised 분리 표현 학습을 가능하게 하는 것.
• 공통 및 고유 요소 모두를 샘플링하고 조작할 수 있는 생성 모델을 제공하여 후속 작업을 지원하는 것.
• 고유 정보를 유지하는 것이 대조 학습보다 성능을 향상시키며, 고유 정보를 기각하는 대조 학습보다 우수한 표현 학습을 이끌어내는가를 입증하는 것.

제안 방법

• Gács-Körner 공통 정보 정의의 변분 이완을 제안하여 결정적 함수 대신 확률적 매핑을 허용한다.
• 표준 VAE를 수정하여 공통 및 고유 잠재 변수를 위한 별도의 인코더를 포함하고, 양측 입력의 함수인 공통 잠재 변수 $ z_c $ 를 공유한다.
• 공통 잠재 변수와 각 입력 간의 상호정보를 통해 Gács-Körner 공통 정보를 KL 발산 기반 목표로 근사한다.
• 공통 및 고유 요소를 포착하기 위해 별도의 고유 잠재 변수 $ z_{u1}, z_{u2} $ 를 사용하는 다중 시야 VAE 아키텍처를 적용한다.
• 재구성, 공통 정보 최대화, 고유 정보 모델링 간의 균형을 맞추기 위해 손실 함수를 최적화한다.
• dSprites 및 3dShapes와 같은 데이터셋의 쌍시야 데이터와 영상 시퀀스의 시간 프레임에 대해 방법을 적용하며, 학습된 잠재 변수를 사용해 시간에 따른 공통 정보를 정량화한다.

실험 결과

연구 질문

• RQ1 이미지 및 영상과 같은 고차원 실세계 데이터에서 Gács-Körner 공통 정보를 효과적으로 근사할 수 있는가?
• RQ2 변분 오토인코더를 수정하여 다중 시야 데이터의 공통 및 고유 요소를 동시에 분리할 수 있는가?
• RQ3 고유 정보를 유지하는 것이 고유 정보를 기각하는 대조 학습보다 더 나은 표현 학습을 이끌어내는가?
• RQ4 합성 데이터셋에서 알려진 진짜 분리 요소를 복원할 수 있는가?
• RQ5 영상 시퀀스에서 공통 정보의 양은 시간이 지남에 따라 어떻게 변화하는가? 모델은 이러한 감쇠를 정량화할 수 있는가?

주요 결과

• qualitative 분석을 통해 GK-VAE는 고차원 이미지 및 영상 데이터에서 의미 있는 공통 및 고유 요소를 성공적으로 학습함을 보였다.
• dSprites 및 3dShapes 데이터셋에서 공통 잠재 공간에 진짜 공통 요소(예: 숫자 클래스, 모양, 색상)를 정확히 복원함을 확인하였다.
• 고유 잠재 변수는 시야별 특성(예: 회전, 두께)을 포착하며, 모델은 잠재 코드에서 이러한 요소를 복원할 수 있었다.
• 대조 학습은 숫자의 회전 각도(10개의 이산화된 범주)를 복원하지 못하는 반면, GK-VAE는 양측에서 모두 고유 정보를 성공적으로 복원하였다.
• 영상 실험에서, 모델은 시간 간격이 증가할수록 프레임 간 공통 정보가 감소하는 경향을 보였으며, 이는 시간에 따른 상관관계 감소와 일치하였다.
• 이전에 고차원 데이터에서는 계산이 불가능했지만, 본 방법은 Gács-Körner 공통 정보의 스케일러블한 근사화를 제공한다.