[논문 리뷰] Tractable Density Estimation on Learned Manifolds with Conformal Embedding Flows

Brendan Leigh Ross, Jesse C. Cresswell|arXiv (Cornell University)|2021. 06. 09.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 표준 정규화 흐름과 훈련 가능한 동형 임bedding을 조합하여 저차원 다양체 위에서의 정확한 밀도 추정을 가능하게 하는 새로운 정규화 흐름 프레임워크인 동형 임베딩 흐름(CEFs)을 소개한다. 이 방법은 데이터가 알려지지 않은 다각체 위에 존재하는 경우에도 정확한 우도 계산을 유지하면서, 효율적인 샘플링, 추론 및 밀도 추정을 가능하게 하여 합성 및 실세계 데이터에서 최고 성능을 달성한다.

ABSTRACT

Normalizing flows are generative models that provide tractable density estimation via an invertible transformation from a simple base distribution to a complex target distribution. However, this technique cannot directly model data supported on an unknown low-dimensional manifold, a common occurrence in real-world domains such as image data. Recent attempts to remedy this limitation have introduced geometric complications that defeat a central benefit of normalizing flows: exact density estimation. We recover this benefit with Conformal Embedding Flows, a framework for designing flows that learn manifolds with tractable densities. We argue that composing a standard flow with a trainable conformal embedding is the most natural way to model manifold-supported data. To this end, we present a series of conformal building blocks and apply them in experiments with synthetic and real-world data to demonstrate that flows can model manifold-supported distributions without sacrificing tractable likelihoods.

연구 동기 및 목표

• 이미지와 같은 실세계 데이터에서 흔한 저차원 다각체 위에 존재하는 데이터를 모델링하는 데 있어 전통적 정규화 흐름의 한계를 해결한다.
• 기존의 단순 흐름 모델에서 다각체 구조 모델링과 정확한 밀도 추정 간의 상충 관계를 극복한다.
• 내재 차원성과 데이터 다각체의 기하학을 학습하면서도 정확한 우도 계산이 가능한 프레임워크를 개발한다.
• 자기역행성이고 역행성인 동형 레이어를 설계하여 앙상블 행렬식의 계산 가능성을 유지하고, 임베딩 및 흐름 구성 요소의 공동 훈련을 가능하게 한다.

제안 방법

• 훈련 가능한 동형 임베딩(저차원 잠복 공간에서 데이터 공간으로의 변환)과 표준 정규화 흐름의 조합으로 구성된 동형 임베딩 흐름(CEFs)을 제안한다.
• 세 가지 새로운 자기역행성 레이어를 도입한다: 직교 $k\times k$ 컨볼루션, 조건부 직교 변환, 특수 동형 변환으로, 모두 동형성과 계산 가능한 앙상블 행렬식을 유지하도록 설계되었다.
• 임베딩 레이어가 동형(각도를 유지)임을 보장하여 역행성과 정확한 밀도 추정을 가능하게 하는 변화변수 공식을 유지한다.
• 임베딩을 위한 재구성 손실과 흐름을 위한 로그우도 최대화를 조합한 혼합 손실 함수를 사용하여 전체 모델의 공동 훈련을 가능하게 한다.
• 다양한 척도의 흐름과 자기역행성 1×1 컨볼루션을 사용하여 합성 다각체(예: 64D 및 512D 선박 다각체)와 실세계 데이터셋(MNIST, CelebA)에 이 프레임워크를 적용한다.
• 동형 사상의 기하학적 성질을 활용하여, 저차원 잠복 공간에서 고차원 데이터 공간으로의 사상에서도 계산 가능한 앙상블 행렬식을 유지한다.

실험 결과

연구 질문

• RQ1 정확한 밀도 추정을 유지하면서도 알려지지 않은 저차원 다각체 위에 존재하는 데이터를 모델링할 수 있는 정규화 흐름을 어떻게 확장할 수 있는가?
• RQ2 어떻게 정확한 우도 계산을 유지하면서도 유역성과 계산 가능성을 확보하는 자기역행성 동형 임베딩 레이어를 설계할 수 있는가?
• RQ3 임베딩 및 흐름 구성 요소의 공동 훈련이 순차적 훈련에 비해 다각체 학습 및 밀도 추정 성능을 얼마나 향상시킬 수 있는가?
• RQ4 실세계 이미지 데이터셋인 CelebA와 MNIST에서 표준 또는 단순 흐름에 비해 동형 임베딩이 더 나은 샘플 품질과 우도 성능을 달성할 수 있는가?

주요 결과

• CEFs는 합성 64차원 및 512차원 선박 다각체에서 최고 성능의 우도 점수를 기록하며, 순차적 및 공동 기준 모델을 모두 압도한다.
• 동형 임베딩을 갖춘 공동 CEF 모델은 합성 및 CelebA 데이터셋 모두에서 순차 기준 모델보다 유의미하게 높은 로그우도를 달성하여 종합적 훈련의 이점을 입증한다.
• CEFs에서의 재구성은 복잡한 다각체에서 표준 정규화 흐름 및 단순 흐름보다 정성적으로 우수한 성능을 보이며, 더 나은 다각체 정렬을 나타낸다.
• 동형 임베딩의 사용 덕분에 저차원 잠복 공간에서의 사상에도 불구하고 정확한 우도 계산이 가능해졌으며, 이는 이전의 단순 흐름 방법의 핵심 한계를 해결한다.
• CelebA에서 공동 CEF 모델은 -4.78 비트/차원의 로그우도를 기록하여 순차 기준 모델을 능가하며 강력한 생성 모델과 경쟁 가능한 성능을 보였다.
• 자기역행성 및 계산 가능한 앙상블 행렬식을 갖춘 동형 레이어 덕분에 효율적인 샘플링과 추론이 유지되어 모델의 완전한 계산 가능성과 가용성을 확보했다.