[논문 리뷰] Lost in Latent Space: Disentangled Models and the Challenge of Combinatorial Generalisation

Milton L. Montero, Jeffrey S. Bowers외 3명|arXiv (Cornell University)|2022. 04. 05.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 강한 디센트링된 생성 모델이 비록 강력한 디센트링을 보이지만, 예측할 수 없는 요소 조합으로의 조합 일반화(combinatorial generalization)에 실패하는 이유를 조사한다. 실험 결과, 실패의 주요 원인은 새로운 요소 조합이 올바른 잠재공간 영역으로 매핑되지 않는 인코더의 잘못된 일반화(encoder misgeneralization)에 기인하며, 성공은 배제된 요소들이 상호 독립이거나 테스트 조건이 너무 약해 모델을 도전할 수 없는 경우에만 발생한다.

ABSTRACT

Recent research has shown that generative models with highly disentangled representations fail to generalise to unseen combination of generative factor values. These findings contradict earlier research which showed improved performance in out-of-training distribution settings when compared to entangled representations. Additionally, it is not clear if the reported failures are due to (a) encoders failing to map novel combinations to the proper regions of the latent space or (b) novel combinations being mapped correctly but the decoder/downstream process is unable to render the correct output for the unseen combinations. We investigate these alternatives by testing several models on a range of datasets and training settings. We find that (i) when models fail, their encoders also fail to map unseen combinations to correct regions of the latent space and (ii) when models succeed, it is either because the test conditions do not exclude enough examples, or because excluded generative factors determine independent parts of the output image. Based on these results, we argue that to generalise properly, models not only need to capture factors of variation, but also understand how to invert the generative process that was used to generate the data.

연구 동기 및 목표

• 이전 연구에서 디센트링된 모델이 일반화 능력을 향상시킨다고 주장한 것과 최근에 이러한 모델이 조합 일반화 과제에서 실패한다는 결과 사이의 모순을 해결하기 위해.
• 조합 일반화 실패 원인이 인코더 오류(잠재공간 매핑 오류)인지 디코더 오류(정확한 잠재코드에서의 생성 오류)인지 판단하기 위해.
• 높은 디센트링 수준만으로도 예측할 수 없는 생성 요소 조합에 대한 강건한 일반화가 가능한지 평가하기 위해.
• 일반화 성공 원인이 진정으로 조합적 이해(compositional understanding)에 기인한 것인지, 아니면 충분히 새로운 조합을 배제하지 못하는 약한 테스트 조건 때문인지 평가하기 위해.

제안 방법

• 제어된 훈련 및 테스트 조건 하에서 다양한 데이터셋(dSprites, 3DShapes, MPI3D, Circles, Simple)에서 다양한 디센트링 모델(예: VAEs, SBD, β-VAE)을 체계적으로 테스트하였다.
• 잠재변수와 생성 요소 간의 회귀 계수를 측정하여 디센트링 수준을 정량화하기 위해 힌튼 매트릭스(Hinton matrices)를 사용하였다.
• 훈련 및 테스트 예제의 잠재공간 분포를 시각화하여, 기대되는 표현과 실제 인코딩 표현 간의 이격, 분산 증가, 또는 비일치를 탐지하였다.
• 모델의 강건성 평가를 위해 두 가지 유형의 일반화 조건을 정의하였다: 재조합-요소 제외(recombination-to-element, 한 가지 조합만 제외) 및 재조합-범위 제외(recombination-to-range, 부분 집합의 모든 조합 제외).
• 모델 간 비교를 위해 동일한 아키텍처와 훈련 제도를 사용하여 디센트링과 데이터 분포 이동의 영향을 분리하였다.
• 잠재표현의 추적과 잠재공간 내 기대되는 목표 영역과의 비교를 통해 인코더 및 디코더 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 디센트링된 모델이 조합 일반화에 실패하는 이유가 인코더의 잘못된 일반화인지, 디코더의 실패 때문인지?
• RQ2 잠재공간에서의 높은 디센트링 수준이 예측할 수 없는 생성 요소 조합으로의 일반화 능력을 보장하는가?
• RQ3 어떤 조건에서 모델이 새로운 조합으로의 일반화에 성공하는가? 그리고 이러한 성공을 가능하게 하는 구조적 또는 분포적 요소는 무엇인가?
• RQ4 이전 모델이 일반화 과제에서 성공을 거둔 것은 진정으로 조합적 사고에 기반한 것인지, 아니면 충분히 많은 조합을 배제하지 못하는 약한 테스트 조건 때문인가?
• RQ5 생성 요소의 독립성이 모델의 예측 불가능한 조합으로의 일반화 능력에 얼마나 영향을 미치는가?

주요 결과

• 조합 일반화에 실패할 경우, 인코더 역시 새로운 조합을 올바른 잠재공간 영역으로 매핑하지 못함을 확인하여, 근본 원인이 인코더의 잘못된 일반화임을 규명하였다.
• 배제된 생성 요소가 출력 이미지의 상호 독립적인 부분인 경우에만 모델이 일반화에 성공함을 확인하여, 구조적 독립성이 더 나은 일반화를 가능하게 함을 시사한다.
• 테스트 조건이 새로운 조합을 충분히 배제하지 못하는 경우(예: 재조합-요소 제외), 모델은 성공적으로 일반화된 것처럼 보일 수 있으나, 이는 진정한 조합적 이해를 반영하지 못한다.
• 높은 디센트링 수준을 보이는 모델도 dSprites 및 3DShapes와 같은 복잡한 데이터셋에서 새로운 요소 조합을 만날 경우 잠재공간의 이탈과 표현 분산 증가를 보였다.
• MPI3D 및 3DShapes와 같은 데이터셋에서는, 제외된 조합이 상호 독립적이지 않은 경우, 높은 디센트링 수준을 가진 모델도 여전히 일반화에 실패하며, 잠재표현은 훈련 데이터 클러스터 쪽으로 이탈한다.
• 잠재공간의 시각화 결과, 성공적인 일반화와 함께 훈련 및 테스트 데이터에 대해 잘 분리되고 구조화된 잠재표현이 관찰되었고, 실패한 경우는 겹치거나 비구조적 또는 이탈한 분포로 나타났다.