[논문 리뷰] A RAD approach to deep mixture models

Laurent Dinh, Jascha Sohl‐Dickstein외 2명|arXiv (Cornell University)|2019. 03. 18.

Bayesian Methods and Mixture Models참고 문헌 56인용 수 20

한 줄 요약

이 논문은 연속적이고 이산적인 구조를 모두 모델링할 수 있도록 조각별 역행 가능 변환과 이산 잠복 변수를 결합한 정규화 흐름 아키텍처인 Real and Discrete (Rad)을 소개한다. 데이터를 분할 영역을 기준으로 접는 서젝티브이고 국소적으로 역행 가능하는 사상들을 사용함으로써 Rad는 정확한 우도 계산, 정확한 샘플링, 정확한 추론을 가능하게 하여, 다중모달 또는 다양체 구조를 띤 분포를 모델링할 때 기존의 정규화 흐름의 한계를 극복한다.

ABSTRACT

Flow based models such as Real NVP are an extremely powerful approach to density estimation. However, existing flow based models are restricted to transforming continuous densities over a continuous input space into similarly continuous distributions over continuous latent variables. This makes them poorly suited for modeling and representing discrete structures in data distributions, for example class membership or discrete symmetries. To address this difficulty, we present a normalizing flow architecture which relies on domain partitioning using locally invertible functions, and possesses both real and discrete valued latent variables. This Real and Discrete (RAD) approach retains the desirable normalizing flow properties of exact sampling, exact inference, and analytically computable probabilities, while at the same time allowing simultaneous modeling of both continuous and discrete structure in a data distribution.

연구 동기 및 목표

• 다중모달 분포, 이산 대칭성, 또는 다양체의 합집합을 이루는 데이터와 같은 이산적 구조를 모델링하는 데 있어 기존 정규화 흐름의 한계를 해결하기 위해.
• 연속 잠복 공간을 복잡하고 비연속적인 데이터 분포로 매핑하려 할 때 발생하는 수치적 불안정성과 최적화 과제를 해결하기 위해.
• 실수 및 이산 잠복 변수를 모두 갖는 깊이 있는 혼합 모델에서 정확한 추론, 정확한 샘플링, 해석적으로 계산 가능한 로그우도를 가능하게 하기 위해.
• 정규화 흐름이 지닌 유용한 성질(예: 계산 가능한 우도, 역행 가능성)을 유지하면서도 도메인 분할을 통해 이산적 구조를 처리할 수 있도록 확장하기 위해.
• 깊이 있는 혼합 모델에서 근사 추론 기법(예: 하드-EM 또는 변분 추론)의 대안으로서 확장 가능하고 정확한 방법을 제공하기 위해.

제안 방법

• 입력 공간을 상호배타적인 부분집합으로 나누는 조각별 역행 가능 함수를 사용하는 Real and Discrete (Rad) 흐름 아키텍처를 제안한다. 각 부분집합은 이산 레이블과 연결된다.
• 서젝티브이고 국소적으로 역행 가능한 변환을 정의한다. 각 분할 영역은 잠복 공간의 특정 영역으로 매핑되며, 이산 레이블 $ K $ 는 입력이 속한 분할 영역을 나타낸다.
• 입력 $ m{x} $ 를 부분집합 $ m{A}_k $ 에 할당하는 분할 함수 $ f_K(m{x}) $ 를 사용하여, 우도를 $ p_X(m{x}) = p_K(f_K(m{x})) p_{X|K}(m{x} | f_K(m{x})) $ 로 계산함으로써 모든 구성요소에 대한 합산을 피한다.
• 각 분할 영역에 대해 다른 역행 가능 변환을 적용하는 Rad 레이어를 설계함으로써, 모드 간 접기(예: 분리된 다양체 간 연결)를 가능하게 하면서도 각 영역 내에서의 역행 가능성은 유지한다.
• 흐름 그래프에 이산 레이블 $ K $ 를 통합하여, 조건부 확률 $ p_{K|Z} $ 를 학습할 수 있도록 하여, 변환 과정에서 서로 다른 모드 간의 분리가 유지됨을 보장한다.
• 조각별 구조와 이산 레이블 할당을 고려한 자코비안 행렬식을 유지함으로써 정확한 로그우도 계산을 보장한다.

실험 결과

연구 질문

• RQ1 정규화 흐름은 다중모달 또는 다양체 구조를 띤 분포와 같은 이산적 구조를 정확한 추론과 우도 평가를 유지하면서 모델링할 수 있는가?
• RQ2 조각별 역행 가능 변환은 어떻게 설계되어야 하며, 단일 흐름 아키텍처 내에서 연속적이고 이산적인 잠복 변수를 동시에 처리할 수 있는가?
• RQ3 흐름에서 접기 메커니즘은 완전한 펼침 없이도 분리된 모드(예: 고리 또는 나선형)를 효과적으로 연결할 수 있는가? 수치적 불안정성 없이?
• RQ4 이산 잠복 변수의 포함이 깊이 있는 혼합 모델의 모델링 능력을 얼마나 향상시키며, 동시에 학습 효율성과 정확성은 유지되는가?
• RQ5 Rad 아키텍처는 내재된 이산 대칭성 또는 군집을 가진 데이터 분포를 다룰 때 기존의 Real NVP와 비교해 어떻게 성능을 발휘하는가?

주요 결과

• Rad는 최종 레이어에서 모드 간 접기를 통해 고리 모양의 가우시안 혼합 분포를 성공적으로 모델링하여, 여러 개의 분리된 모드를 하나의 연속된 잠복 모드로 변환한다.
• 나선형 문제에서는 Rad가 나선을 세 개의 별개의 선으로 분해한 후 다리를 놓지만, Real NVP는 연속적인 전단함수로 다양체를 효과적으로 펼치지 못한다.
• 변환 과정 동안 이산 레이블 $ K $ 가 잘 유지되며, 원래 다른 레이블을 가졌던 점들이 잠복 공간에서도 분리된 상태로 남아 있어, 이산적 구조의 효과적인 모델링을 보여준다.
• 복잡하고 비연속적인 데이터 분포를 다룰 때조차도 Rad는 정확한 로그우도 계산과 정확한 샘플링을 유지한다.
• 변분 추론이나 하드-EM과 같은 근사 추론 기법이 필요 없이 깊이 있는 혼합 모델에서 완전한 계산 가능성(tractability)을 확보한다.
• 시각화 결과는 Rad의 접기 메커니즘이 비단사상적이지만 국소적으로 역행 가능한 서젝티브 매핑을 효과적으로 학습할 수 있음을 확인하며, 구조화된 데이터에 대한 효과적인 밀도 추정이 가능함을 보여준다.