[논문 리뷰] Demystifying Inductive Biases for $\beta$-VAE Based Architectures

Dominik Zietlow, Michal Rolínek외 1명|arXiv (Cornell University)|2021. 02. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 6

한 줄 요약

이 논문은 β-VAE 기반 아키텍처의 디센트엔글링 성공 원인이 데이터 분산의 주성분과 일치하는 인덕티브 바이어스에 기인함을 보여준다. 이 주성분은 생성 인자에 의해 구조화되어 있다. 저자들은 생성 인자를 유지하면서 이 분산 일치를 방해하는 미세한, 구조를 유지하는 교란을 도입함으로써, VAE 기반 모델이 표현을 디센트엔글링하지 못함을 입증한다. 반면 비변동적 방법인 PCL은 여전히 강건함을 유지함으로써, 이 특정 인덕티브 바이어스에 의존하고 있음을 증명한다.

ABSTRACT

The performance of $\beta$-Variational-Autoencoders ($\beta$-VAEs) and their variants on learning semantically meaningful, disentangled representations is unparalleled. On the other hand, there are theoretical arguments suggesting the impossibility of unsupervised disentanglement. In this work, we shed light on the inductive bias responsible for the success of VAE-based architectures. We show that in classical datasets the structure of variance, induced by the generating factors, is conveniently aligned with the latent directions fostered by the VAE objective. This builds the pivotal bias on which the disentangling abilities of VAEs rely. By small, elaborate perturbations of existing datasets, we hide the convenient correlation structure that is easily exploited by a variety of architectures. To demonstrate this, we construct modified versions of standard datasets in which (i) the generative factors are perfectly preserved; (ii) each image undergoes a mild transformation causing a small change of variance; (iii) the leading extbf{VAE-based disentanglement architectures fail to produce disentangled representations whilst the performance of a non-variational method remains unchanged}. The construction of our modifications is nontrivial and relies on recent progress on mechanistic understanding of $\beta$-VAEs and their connection to PCA. We strengthen that connection by providing additional insights that are of stand-alone interest.

연구 동기 및 목표

• 표준 벤치마크에서 β-VAE 기반 아키텍처가 최고의 디센트엔글링 성능을 달성할 수 있도록 하는 인덕티브 바이어스를 규명하는 것.
• 이 성공이 아키텍처적 혁신 외에도 데이터 내에서 이용 가능한 구조적 특성에 기반하는지 여부를 조사하는 것.
• 생성 인자를 유지하지만 VAE가 이용하는 분산 구조를 손상시키는 수정된 데이터셋을 구성하는 것.
• 이러한 수정 조건에서 VAE의 디센트엔글링 실패가 아키텍처 결함이 아니라 이 구조적 바이어스의 상실 때문인지 테스트하는 것.
• 통제된 데이터 교란 조건 하에서 변동적 방법과 비변동적 방법의 강건성을 비교하는 것.

제안 방법

• 저자들은 dSprites와 Shapes3D의 수정된 버전을 만들었으며, 이미지에 미세한 국소적 분산 증가 교란을 적용함으로써 생성 인자를 유지하면서 국소 상관 구조를 변화시켰다.
• 이 교란은 Rolinek 등(2019)의 연구에서 도출된 통찰을 바탕으로, VAE가 비선형 주성분 분석을 복원할 수 있음을 고려하여, 주요 비선형 주성분이 진정한 생성 인자에서 벗어나도록 설계되었다.
• 여러 가지 β-VAE 변종(예: β-VAE, Fac. VAE, TC-β-VAE, Slow-VAE)과 비변동적 PCL 모델을 원본 및 수정된 데이터셋 모두에서 평가하였다.
• 성능 평가는 MIG, SAP, DCI 점수로 측정되었으며, 강건성 평가를 위해 선형 탐색을 통한 초모수 튜닝이 수행되었다.
• 구조적 교란과 대비하기 위해 픽셀 단위의 노이즈를 기준선 교란으로 도입하였다.
• 분석은 주로 디센트엔글링 지표와 재구성 품질의 변화에 집중하였으며, 특히 과도한 프루닝 조건 하에서의 변화를 중점적으로 다루었다.

실험 결과

연구 질문

• RQ1 dSprites와 Shapes3D와 같은 표준 데이터셋에서 β-VAE 기반 모델이 높은 디센트엔글링 성능을 달성할 수 있도록 하는 인덕티브 바이어스는 무엇인가?
• RQ2 생성 인자를 유지하면서 데이터의 분산 구조를 수정함으로써 VAE 기반 모델의 디센트엔글링 성능를 체계적으로 떨어뜨릴 수 있는가?
• RQ3 비변동적 방법인 PCL은 왜 이러한 교란에 강건한 반면, 변동적 모델은 실패하는가?
• RQ4 Slow-VAE와 같은 아키텍처의 성공이 기존 β-VAE와 동일한 분산 구조 바이어스에 기반하는가에 대해 어느 정도의 정도로 기여하는가?
• RQ5 데이터의 비선형 주성분 구조를 조작하여 VAE만을 특별히 손상시키고 다른 표현 학습 방법에는 영향을 주지 않는 방식으로 조작할 수 있는가?

주요 결과

• 생성 인자는 유지되지만 분산 구조가 교란된 수정된 데이터셋에서, 모든 VAE 기반 아키텍처가 MIG 점수를 크게 떨어뜨렸다. 예를 들어, dSprites에서 β-VAE의 점수는 0.23 ± 0.08에서 0.07 ± 0.09로 감소했다.
• 비정규화된 시간적 사전을 사용해 비정규성 문제를 해결하는 Slow-VAE의 성능도 심각하게 저하되어, 여전히 동일한 분산 구조 바이어스에 의존하고 있음을 시사한다.
• 비변동적 방법인 PCL은 원본 및 수정된 데이터셋 모두에서 거의 동일한 MIG 점수를 유지했다(예: dSprites에서 0.21 ± 0.03 vs. 0.24 ± 0.07), 교란에 강건함을 보였다.
• 노이즈 기준선은 Shapes3D에는 미미한 영향을 주었지만, 낮은 내재 분산을 가진 dSprites에서는 뚜렷한 점수 하락을 유도하여, 노이즈가 목표로 하는 구조적 교란을 재현하지 못함을 시사한다.
• 초모수 튜닝은 성능을 부분적으로 회복시킬 수 있었지만, 재구성 품질이 악화되는 과도한 잠금 조건에서만 가능했으며, 이는 타당한 해결책이 아니었다.
• 결과적으로, VAE 기반 디센트엔글링의 핵심 인덕티브 바이어스는 아키텍처 설계 자체가 아니라 데이터 분산의 주성분과의 일치에 있음을 확인하였다.