[논문 리뷰] Latent Traversals in Generative Models as Potential Flows

Song Yue, Andy Keller외 2명|arXiv (Cornell University)|2023. 04. 25.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 생성 모델 내 잠재적 이동을 학습된 시간 및 공간에 따라 변하는 편미분방정식(PDE) 기반 잠재 에너지 장에 의한 잠재 흐름으로 모델링한다. 이는 물리적으로 현실적인 PDE 잠재 에너지 장을 따라 입자가 흐르는 것으로 간주하여, 선형 또는 RBF 기반 기준선 대비 더 의미적으로 분리된, 더 영리하고 일관된 경로를 달성한다. 학습 중 유도적 편향으로 통합되었을 때 우수한 우도를 보인다.

ABSTRACT

Despite the significant recent progress in deep generative models, the underlying structure of their latent spaces is still poorly understood, thereby making the task of performing semantically meaningful latent traversals an open research challenge. Most prior work has aimed to solve this challenge by modeling latent structures linearly, and finding corresponding linear directions which result in `disentangled' generations. In this work, we instead propose to model latent structures with a learned dynamic potential landscape, thereby performing latent traversals as the flow of samples down the landscape's gradient. Inspired by physics, optimal transport, and neuroscience, these potential landscapes are learned as physically realistic partial differential equations, thereby allowing them to flexibly vary over both space and time. To achieve disentanglement, multiple potentials are learned simultaneously, and are constrained by a classifier to be distinct and semantically self-consistent. Experimentally, we demonstrate that our method achieves both more qualitatively and quantitatively disentangled trajectories than state-of-the-art baselines. Further, we demonstrate that our method can be integrated as a regularization term during training, thereby acting as an inductive bias towards the learning of structured representations, ultimately improving model likelihood on similarly structured data.

연구 동기 및 목표

• 사전 학습된 생성 모델에서 의미적으로 유의미하고 분리된 잠재 이동을 학습하는 데 있어 열려 있는 과제를 해결하기 위해.
• 선형 또는 고정된 형태의 RBF 기반 이동의 한계를 극복하기 위해, 영리하고 시간 및 공간에 따라 변하는 잠재 에너지 장을 사용해 잠재 역학을 모델링하기 위해.
• 학습된 잠재 흐름을 학습 중 정규화 항으로 통합하여 우도를 향상시키고, 구조적 유도적 편향을 유도하기 위해.
• 물리적으로 타당한 PDE가 다양한 데이터 다양체를 통해 다양한, 모호하지 않은, 의미적으로 일관된 이동 경로를 모델링할 수 있음을 보여주기 위해.

제안 방법

• 유체역학과 최적 운반 이론에 영감을 얻어, 시간 및 공간에 따라 변하는 PDE에 의해 정의된 학습된 스칼라 잠재 에너지 장의 기울기 흐름으로 잠재 이동을 모델링한다.
• 분류기의 제약을 통해 분리도를 보장하면서, 동시에 여러 개의 서로 다른 의미적으로 자율적인 잠재 함수를 학습한다.
• 물리 기반 신경망(PINNs)을 사용해 PDE 제약 조건을 근사적으로 강제함으로써, 영리하고 동적인 장을 가능하게 한다.
• 시간에 따라 잠재 코드를 잠재 에너지 장의 기울기 방향으로 진화시켜 부드럽고 비선형적인 이동 경로를 생성한다.
• VAE 학습 중 잠재 흐름 손실을 정규화 항으로 통합하여 잠재 공간의 구조를 형성하고 우도를 향상시킨다.
• 샘플의 진화를 속도 장 ∇z u(z,t)로 모델링하며, 특정 조건 하에서는 열 방정정식 또는 포크너-플랭크 방정식과 같은 잘 알려진 PDE에 대응할 수 있다.

실험 결과

연구 질문

• RQ1 물리적으로 현실적인 PDE 기반 잠재 에너지 장이 선형 또는 RBF 기반 방법보다 더 영리하고 분리된 잠재 이동을 모델링할 수 있는가?
• RQ2 시간 및 공간에 따라 변하는 잠재 에너지 장은 다양한 샘플 간에 잠재 이동의 의미적 일관성과 모호함이 없는 정도를 어떻게 향상시키는가?
• RQ3 학습된 잠재 흐름이 얼마나 효과적으로 구조화된 데이터 생성에서 우도와 일반화를 향상시키는 유도적 편향으로 작용할 수 있는가?
• RQ4 학습된 속도 장으로부터 어떤 잘 알려진 PDE가 유도될 수 있으며, 이들은 기저 데이터 다양체의 역학과 어떻게 관련되는가?

주요 결과

• 제안된 방법은 사전 학습된 GAN 및 VAE에서 최신 선형 및 RBF 기반 기준선 대비 정성적·정량적으로 더 분리된 경로를 달성한다.
• 동일한 이동 경로(예: '줌 인' 또는 '머리카락 길이')에 대해 서로 다른 샘플 간에 모호하지 않고 일관된 의미적 속성을 생성하며, 유사한 PDE 경로 형태를 보인다.
• VAE 학습 중 정규화 항으로 통합되었을 때, 유사한 구조를 가진 데이터에서 모델 우도가 향상되어, 이 유도적 편향의 효과를 입증한다.
• 이 프레임워크는 선형에서 주기적 파동에 이르기까지 다양한 이동 경로를 최소한의 종점 근처 변형으로 모델링할 수 있어, 강건성과 데이터 다양체 준수 능력을 시사한다.
• 잠재 공간 역학이 특정 속도 장 조건 하에서 잘 알려진 PDE, 예를 들어 열 방정식 또는 포크너-플랭크 방정식의 해로 해석될 수 있음을 드러낸다.
• 선형 이동 방법이 잠재 에너지 장이 공간 및 시간에 대해 선형인 경우 제안된 프레임워크의 특수한 경우임을 입증한다.