[논문 리뷰] Relaxing Bijectivity Constraints with Continuously Indexed Normalising Flows

Rob Cornish, Anthony L. Caterini외 2명|arXiv (Cornell University)|2019. 09. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 56인용 수 22

한 줄 요약

이 논문은 복잡한 목표 분포의 비트ivial한 위상적 구조를 정확하게 모델링할 수 있도록 단일 이항 변환을 연속적으로 인덱싱된 이항 변환의 집합으로 대체하는 새로운 정규화 흐름 프레임워크인 연속적으로 인덱싱된 흐름(Continuously Indexed Flows, CIFs)을 소개한다. 기존의 표준 흐름과 달리 CIFs는 임의로 큰 이중-Lipschitz 상수를 필요로 하지 않으며, 더 적은 층 수로도 위상적으로 복잡한 데이터에서 더 나은 가능도와 지지체 복원 성능을 달성한다.

ABSTRACT

We show that normalising flows become pathological when used to model targets whose supports have complicated topologies. In this scenario, we prove that a flow must become arbitrarily numerically noninvertible in order to approximate the target closely. This result has implications for all flow-based models, and especially Residual Flows (ResFlows), which explicitly control the Lipschitz constant of the bijection used. To address this, we propose Continuously Indexed Flows (CIFs), which replace the single bijection used by normalising flows with a continuously indexed family of bijections, and which can intuitively "clean up" mass that would otherwise be misplaced by a single bijection. We show theoretically that CIFs are not subject to the same topological limitations as normalising flows, and obtain better empirical performance on a variety of models and benchmarks.

연구 동기 및 목표

• 복잡한 지지체를 가진 목표 분포를 모델링할 때 표준 정규화 흐름의 근본적인 위상적 제약를 규명하는 것.
• 위상적으로 복잡한 목표를 근사하기 위해 표준 흐름이 수치적으로 역행렬이 불가능해지기 위해 이중-Lipschitz 상수가 무한대에 수렴해야 한다는 것을 보여주는 것.
• 이러한 위상적 제약를 회피하는 새로운 종류의 정규화 흐름—연속적으로 인덱싱된 흐름(CIFs)—을 제안하는 것.
• CIFs가 어떤 구성 요소 변환에서도 무한대의 이중-Lipschitz 상수를 요구하지 않고도 복잡한 지지체를 정확히 모델링할 수 있다는 것을 보여주는 것.
• 표준 흐름과 비교하여 표본 품질과 가능도가 향상된다는 것을 표본, 이미지, 2차원 데이터셋에서 실험적으로 검증하는 것.

제안 방법

• CIFs는 단일 이항 변환 f를 연속적으로 인덱싱된 이항 변환의 집합 {F(⋅;u)}u∈U로 대체함으로써 표준 정규화 흐름을 일반화한다. 여기서 u는 연속적인 색인이다.
• 모델은 잠재 변수 u ∈ U를 사용하여 변환을 조건화함으로써, 유량이 위상적으로 잘못된 위치로 재배치되는 것을 허용한다.
• 색인 u는 각 흐름 층의 잠재 공간과 동일한 차원을 가지는 학습 가능한 연속 변수로 모델링된다.
• 정확한 가능도 계산이 연속 색인으로 인해 비가역적이므로, 가능도 추정을 위해 변동성 근사법을 사용한다.
• 구성 요소로 커팅 레이어, 잔차 블록, 자동회귀 흐름을 포함한 표준 흐름 요소와 통합되며, 변환과 색인 매핑을 파arameter화하기 위해 별도의 신경망을 사용한다.
• 색인 네트워크 Uℓ는 잠재 변수 Zℓ의 차원에 맞추기 위해 업샘플링된다. 이는 채널별 조건부 조건화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 정규화 흐름은 다수의 연결된 구성요소나 구멍을 가진 지지체를 가진 목표 분포를 정확하게 모델링할 수 있는가?
• RQ2 흐름의 이중-Lipschitz 상수와 위상적으로 복잡한 목표를 근사하는 능력 사이의 이론적 관계는 무엇인가?
• RQ3 위상적으로 복잡한 분포를 모델링할 때, 임의로 큰 이중-Lipschitz 상수가 필요로 하지 않는 흐름 아키텍처는 존재할 수 있는가?
• RQ4 연속적으로 인덱싱된 이항 변환의 집합은 표준 흐름보다 더 나은 지지체 복원과 가능도 추정을 가능하게 하는가?
• RQ5 CIFs는 복잡한 밀도 추정 작업에서 표준 흐름보다 더 적은 층 수로도 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 논문은 위상적으로 복잡한 지지체를 가진 목표 분포를 근사하기 위해 표준 정규화 흐름이 이중-Lipschitz 상수가 무한대에 수렴해야 하며, 이는 수치적으로 역행렬이 불가능하다는 것을 증명한다.
• 비트ivial한 위상을 가진 2D 데이터셋에서, 10층의 CIF-ResFlow는 테스트 로그가능도 -1.409를 기록하여 100층의 ResFlow(-1.419)와 10층의 ResFlow(-1.501)를 모두 앞서며 성능을 뛰어넘었다.
• 스피ral 데이터셋에서, 5층의 CIF-MAF는 119,910개의 파라미터로 20층의 MAF(160,160개 파라미터)보다 뛰어난 성능을 보였으며, 더 큰 20층의 MAF는 학습 중에 발산했다.
• Fashion-MNIST와 CIFAR-10에서, 607만 개의 파라미터를 가진 CIF-RealNVP는 305만 개의 파라미터를 가진 표준 RealNVP보다 더 높은 로그가능도와 더 나은 표본 품질을 달성했다.
• 2D 데이터셋에서 CIF-ResFlow는 100층의 ResFlow보다 평균 테스트 로그가능도가 높았으며, 이는 CIFs를 사용할 경우 더 적은 층 수로도 더 효과적일 수 있음을 보여준다.
• 이 방법은 무한대의 이중-Lipschitz 상수를 요구하지 않으며, 끈적거나 끊어진 지지체와 같은 복잡한 위상을 정확히 복원하는 데 성공했다.