[논문 리뷰] On the representation and learning of monotone triangular transport maps

Ricardo Baptista, Youssef Marzouk외 1명|arXiv (Cornell University)|2020. 09. 22.

Medical Imaging Techniques and Applications인용 수 3

한 줄 요약

이 논문은 미끄러운 함수의 역함수 변환을 사용하여 단조성과 삼각형 구조를 갖는 운반 지도를 표현하고 학습하는 일반적인 프레임워크를 제안한다. 이는 최적화 문제에서 임의의 국소 최솟값이 존재하지 않도록 보장하며, 목표 분포에 대한 약한 꼬리 조건이 만족될 경우 Knothe–Rosenblatt 지도가 유일한 전역 최솟값임을 증명한다. 또한 유한 표본에서 KR 지도의 희소 반모수적 근사를 위한 적응형 알고리즘을 도입하여, 다양한 표본 크기에서 밀도 추정, 가능도 기반 추론, 그리고 구조 학습에 안정적인 성능을 제공한다.

ABSTRACT

Transportation of measure provides a versatile approach for modeling complex probability distributions, with applications in density estimation, Bayesian inference, generative modeling, and beyond. Monotone triangular transport maps$\unicode{x2014}$approximations of the Knothe$\unicode{x2013}$Rosenblatt (KR) rearrangement$\unicode{x2014}$are a canonical choice for these tasks. Yet the representation and parameterization of such maps have a significant impact on their generality and expressiveness, and on properties of the optimization problem that arises in learning a map from data (e.g., via maximum likelihood estimation). We present a general framework for representing monotone triangular maps via invertible transformations of smooth functions. We establish conditions on the transformation such that the associated infinite-dimensional minimization problem has no spurious local minima, i.e., all local minima are global minima; and we show for target distributions satisfying certain tail conditions that the unique global minimizer corresponds to the KR map. Given a sample from the target, we then propose an adaptive algorithm that estimates a sparse semi-parametric approximation of the underlying KR map. We demonstrate how this framework can be applied to joint and conditional density estimation, likelihood-free inference, and structure learning of directed graphical models, with stable generalization performance across a range of sample sizes.

연구 동기 및 목표

• 최적화에서 전역 최적성을 보장하는 일반적인 단조성 삼각형 운반 지도 표현 및 학습 프레임워크를 개발하는 것.
• 무한차원 최적화 문제에서 임의의 국소 최솟값이 존재하지 않는 이론적 조건을 확립하는 것.
• 목표 분포에 대해 약한 꼬리 조건이 만족될 경우, 유일한 전역 최솟값이 Knothe–Rosenblatt (KR) 재배열과 일치함을 증명하는 것.
• 유한 표본으로부터 KR 지도의 희소 반모수적 근사를 적응적으로 학습할 수 있는 알고리즘을 설계하는 것.
• 제안된 방법이 연합 및 조건부 밀도 추정, 가능도 기반 추론, 그리고 유사도 기반 방향 그래픽 모델의 구조 학습에 효과적으로 적용될 수 있음을 보여주는 것.

제안 방법

• 미끄러운 함수의 역함수 변환을 통해 단조성 삼각형 지도를 표현하여 단조성과 가역성을 보장하는 것.
• 무한차원 최적화 설정에서 모든 국소 최솟값이 전역 최솟값임을 보장하기 위해 변환에 대한 충분조건을 설정하는 것.
• 운반 지도 성분의 적응형 희소 매개변수화를 위해 웨이블릿 또는 다항식 기반을 사용하는 것.
• 정보가 높은 영역에 집중하기 위해 기초를 적응적으로 향상시키는 그레디브 다중색인 정밀화 전략(ATM)을 적용하는 것.
• 삼각형 지도의 조건부 독립 구조를 활용하여 밀도 추정, 조건부 샘플링, 및 구조 학습에 프레임워크를 적용하는 것.
• 일반화를 보장하기 위해 검증 기반 하이퍼파rameter 튜닝과 조기 정지 기법을 사용한 최대우도 추정을 수행하는 것.

실험 결과

연구 질문

• RQ1 단조성 삼각형 운반 지도를 학습하기 위한 무한차원 최적화 문제에서 임의의 국소 최솟값이 존재하지 않도록 보장하기 위해 변환에 어떤 조건이 필요한가?
• RQ2 최적화 문제의 유일한 전역 최솟값이 언제 Knothe–Rosenblatt 재배열과 일치하는가?
• RQ3 유한한 i.i.d. 표본으로부터 KR 지도의 희소 반모수적 근사를 어떻게 적응적으로 학습할 수 있는가?
• RQ4 제안된 프레임워크는 다양한 표본 크기에서 밀도 추정 및 추론 작업에서 안정적인 일반화 성능을 달성할 수 있는가?
• RQ5 이 방법은 방향 그래픽 모델의 조건부 밀도 추정 및 구조 학습에 어느 정도 적용될 수 있는가?

주요 결과

• 제안된 프레임워크는 변환에 대해 약한 조건을 만족할 경우, 무한차원 최적화 문제에서 모든 국소 최솟값이 전역 최솟값임을 보장한다.
• 목표 분포가 특정 꼬리 조건을 만족할 경우, 최적화 문제의 유일한 전역 최솟값은 Knothe–Rosenblatt 지도와 일치한다.
• 적응형 알고리즘은 연합 및 조건부 밀도 추정 작업에서 다양한 표본 크기 범위에서 안정적인 일반화 성능을 달성한다.
• 관측 데이터로부터 운반 지도를 학습함으로써, 표본 수가 제한된 경우에도 효과적인 가능도 기반 추론을 가능하게 한다.
• 삼각형 지도에 내재된 조건부 독립 구조를 활용함으로써, 유사도 기반 방향 그래픽 모델의 구조 학습을 지원하는 프레임워크를 제공한다.
• 웨이블릿 또는 다항식 기반과 함께 다중색인 정밀화를 적용함으로써, 높은 표현력과 계산 효율성을 갖춘 희소이고 적응적인 운반 지도 근사를 가능하게 한다.