[논문 리뷰] Exploring the Latent Space of Autoencoders with Interventional Assays

Felix Leeb, Sebastian Bauer외 2명|arXiv (Cornell University)|2021. 06. 30.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

이 논문은 변분 오토인코더의 국소적 수축성 행동을 활용하여 학습된 표현의 인과적 구조를 탐색하는 '잠재 반응( latent responses )'이라고 불리는 프레임워크를 소개한다. 잠재 공간에서의 간섭을 적용함으로써 잠재 변수 간의 관계를 정량화하고, 유사 상관관계가 아닌 인과적 연결을 평가하기 위한 인과적 분리도 측정지표(Causal Disentanglement Score, CDS)를 도입하며, CDS가 기존의 지표들과 강한 상관관계를 보이며 통계적 상관관계 기반 측정지표의 함정을 피한다는 점을 입증한다.

ABSTRACT

Autoencoders exhibit impressive abilities to embed the data manifold into a low-dimensional latent space, making them a staple of representation learning methods. However, without explicit supervision, which is often unavailable, the representation is usually uninterpretable, making analysis and principled progress challenging. We propose a framework, called latent responses, which exploits the locally contractive behavior exhibited by variational autoencoders to explore the learned manifold. More specifically, we develop tools to probe the representation using interventions in the latent space to quantify the relationships between latent variables. We extend the notion of disentanglement to take the learned generative process into account and consequently avoid the limitations of existing metrics that may rely on spurious correlations. Our analyses underscore the importance of studying the causal structure of the representation to improve performance on downstream tasks such as generation, interpolation, and inference of the factors of variation.

연구 동기 및 목표

• 자기지도 학습 표현 학습에서의 해석 가능성 문제를 다루기 위해, 감독 없이도 분리 가능한 표현을 학습하지만 이해하기 어려운 오토인코더 표현을 해결하기 위해.
• 통계적 상관관계를 넘어서 잠재 변수와 변화 요인 간의 인과적 관계를 식별할 수 있는 도구를 개발하기 위해.
• 학습된 매니폴드의 인과 기하학을 이해하여 생성, 보간, 추론 등의 후행 작업의 품질을 향상시키기 위해.
• 기본 진술 레이블이 필요로 하지 않는 진단 프레임워크를 제공하여 실제 세계 데이터와 합성 데이터 모두에 분석을 가능하게 하기 위해.
• 기존의 분리도 측정지표가 유사 상관관계에 의존할 수 있는 한계를 극복하기 위해 인과적 연결에 초점을 맞추기 위해.

제안 방법

• 프레임워크는 잠재 공간에서 국소적 간섭을 사용하여 한 잠재 변수의 변화가 재구성된 데이터에 어떤 영향을 미치는지 추정하고, 이를 '잠재 반응'으로 정량화한다.
• 잠재 공간에서 데이터 매니폴드의 외재적 곡률을 추정하여 의미 있는 보간을 가능하게 하고 기하학적 구조를 평가한다.
• 인과적 분리도 측정지표(Causal Disentanglement Score, CDS)는 알려진 변화 요인에 따라 간섭을 조건화하고 인과적 영향을 측정함으로써 상관관계 기반 측정지표와 구별된다.
• 이 방법은 작은 변형이 재구성된 데이터에 예측 가능하고 부드러운 변화를 유도하는 VAE의 국소적 수축성 특성에 의존한다.
• 간섭 효과에서 반응 행렬과 인과 그래프를 구성하여 잠재 차원 간의 의존성과 부모-자식 관계를 시각화한다.
• 이 방법은 알려진 변화 요인을 가진 합성 데이터셋(예: 3D-Shapes)에 적용되어 기준 진술 레이블과의 대조를 통해 검증이 가능하다.

실험 결과

연구 질문

• RQ1 변분 오토인코더의 잠재 공간에서 인과적 상관관계와 유사 상관관계를 어떻게 구분할 수 있는가?
• RQ2 기존의 분리도 측정지표가 통계적 상관관계에 의존함으로써 얼마나 심각한 실패를 겪는가?
• RQ3 간섭 기반 분석은 상관관계가 오해의 소지가 있을 때에도 진정한 잠재 변수의 인과 그래프를 드러낼 수 있는가?
• RQ4 인과적 분리도 측정지표(CDS)는 DCI-D와 같은 표준 측정지표에 비해 의미 있는 분리도를 식별하는 데 얼마나 잘 작동하는가?
• RQ5 잠재 반응 분석은 데이터 매니폴드의 진정한 기하학적 및 인과적 구조를 포착함으로써 보간 및 생성 품질을 향상시킬 수 있는가?

주요 결과

• 인과적 분리도 측정지표(CDS)는 다른 분리도 측정지표와 강한 상관관계를 보이며, 그러나 유사 상관관계를 피하기 때문에 DCI-D 측정지표에 비해 일관되게 뛰어난 성능을 보인다.
• 3D-Shapes 데이터셋에서 잠재 차원 20이 차원 4의 원인이 되며, 이는 '크기'와 유사 상관관계를 보였지만, 상관관계 기반 측정지표가 이를 놓쳤다.
• 조건화된 반응 행렬은 '크기' 요인의 변화를 담당하는 것이 차원 4가 아니라 차원 20임을 정확히 식별하여, 상관관계 기반 방법이 포착하지 못한 인과적 사슬을 드러냈다.
• 잠재 반응 행렬과 유도된 인과 그래프는 차원 20에서의 간섭이 중간 잠재 변수를 통해 '크기'와 '형태'에 모두 영향을 미치며 다수 수준의 인과적 영향을 보여주었다.
• 이 프레임워크는 바닥색 톤이 오직 차원 16과 22에 의해 인과적으로 영향을 받는다는 것을 성공적으로 식별하여, 인과적 구조 추론의 정확성을 확인했다.
• 축척이 잘 맞고 축이 정렬된 구조를 가진 분리 가능한 표현에 대해서는 이 방법이 잘 작동하지만, 고해상도 및 고차원 생성 모델에서는 계산적 한계에 부딪힌다.