[논문 리뷰] Convex Potential Flows: Universal Probability Distributions with Optimal Transport and Convex Optimization

Chin-Wei Huang, Ricky T. Q. Chen외 2명|arXiv (Cornell University)|2020. 12. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 26

한 줄 요약

이 논문은 강한 볼록 신경망 잠재 함수의 기울기로 표현되는 가역 변환을 매개변수화하는 정규화 흐름 프레임워크인 Convex Potential Flows (CP-Flow)를 소개한다. 이는 보편적인 밀도 근사와 최적 운반 이론을 가능하게 하며, 효율적인 역행렬 계산과 저메모리 기울기 추정기를 통해 밀도 추정 및 변분 추론 벤치마크에서 경쟁 가능한 가능도 성능을 달성한다. 이와 동시에 가역성과 최적성의 이론적 보장을 유지한다.

ABSTRACT

Flow-based models are powerful tools for designing probabilistic models with tractable density. This paper introduces Convex Potential Flows (CP-Flow), a natural and efficient parameterization of invertible models inspired by the optimal transport (OT) theory. CP-Flows are the gradient map of a strongly convex neural potential function. The convexity implies invertibility and allows us to resort to convex optimization to solve the convex conjugate for efficient inversion. To enable maximum likelihood training, we derive a new gradient estimator of the log-determinant of the Jacobian, which involves solving an inverse-Hessian vector product using the conjugate gradient method. The gradient estimator has constant-memory cost, and can be made effectively unbiased by reducing the error tolerance level of the convex optimization routine. Theoretically, we prove that CP-Flows are universal density approximators and are optimal in the OT sense. Our empirical results show that CP-Flow performs competitively on standard benchmarks of density estimation and variational inference.

연구 동기 및 목표

• 가역성과 효율적 계산을 보장하는 자연스럽고 이론적으로 타당한 정규화 흐름 매개변수화 방법을 개발한다.
• 정규화 흐름과 최적 운반 이론 간의 연결 고리를 구축하여, 보편적인 밀도 근사가 가능한 볼록 잠재함수를 활용한다.
• 볼록 최적화를 통해 일정한 메모리 비용과 조절 가능한 편향을 갖춘, 야코비안 행렬식의 로그에 대한 기울기 추정기를 설계한다.
• 정규화 흐름의 최대우도 학습을 볼록 최적화 도구를 활용하여 수행함으로써 효율성과 확장성을 향상시킨다.
• CP-Flow가 표준 밀도 추정 및 변분 추론 벤치마크에서 최신 기술 수준의 성능을 달성함을 보여준다.

제안 방법

• 강한 볼록 신경망 잠재함수의 기울기 맵으로 흐름을 매개변수화하여, 구조적으로 가역성을 보장한다.
• 볼록 쌍대성 이론을 활용해 볼록 최적화를 통해 효율적인 역행렬 계산을 실현하고, 반복적 재매개변수화를 피한다.
• 공액 그래디언트 방법을 통해 역행렬의 헤시안-벡터 곱을 계산하여, 야코비안 행렬식의 로그에 대한 새로운 기울기 추정기를 유도한다.
• 공액 그래디언트 해법기의 절대 오차 허용기준(atol)을 조절하여 기울기 추정기의 편향을 제어함으로써, 거의 편향 없는 추정을 가능하게 한다.
• 모델의 역행렬 계산과 야코비안 행렬식 추정을 볼록 최적화 문제로 재구성하여, 메모리 및 계산 비용을 감소시킨다.
• 표현력과 성능 향상을 위해 입력 증강 또는 밀집 구조를 갖춘 볼록 잠재함수 네트워크를 사용한다.

실험 결과

연구 질문

• RQ1 정규화 흐름이 자연스럽게 가역성을 보장하고 효율적인 역행렬 계산이 가능한 방식으로 매개변수화될 수 있는가?
• RQ2 최적 운반 이론을 활용해, 보편적이면서도 운반 비용 측면에서 최적인 흐름을 구성할 수 있는가?
• RQ3 볼록 최적화 기법을 활용해 저메모리이고 편향이 없는 로그-행렬식 기울기 추정기를 도출할 수 있는가?
• RQ4 볼록 잠재함수를 통한 흐름 매개변수화가 밀도 추정 및 변분 추론 벤치마크 성능 향상에 기여하는가?
• RQ5 아키텍처 선택(예: 입력 증강 ICNN)이 볼록 잠재함수 흐름의 성능에 어떤 영향을 미치는가?

주요 결과

• CP-Flow는 표준 벤치마크에서 경쟁 가능한 로그가능도 성능을 달성하였으며, Freyfaces 데이터셋에서 음의 ELBO는 106.53 ± 0.55 bits/dim을 기록하였다.
• 입력 증강 CP-Flow 버전은 Freyfaces에서 음의 ELBO 105.17 ± 0.57 bits/dim을 기록하여 표준 CP-Flow 대비 성능 향상을 보였다.
• 기울기 추정기의 편향은 공액 그래디언트 해법기의 절대 오차 허용기준(atol) 조절을 통해 제어 가능하며, atol ≤ 0.001일 경우 안정적인 학습이 관찰되었다.
• 층별로 공액 그래디언트 반복 횟수는 입력 차원(43 for Miniboone)에 도달하면서趋세를 보이며 수렴 한계를 나타내었다.
• 기본 ICNN를 입력 증강 또는 밀집 ICNN로 대체할 경우 성능 향상이 뚜렷하게 관찰되어 아키텍처 설계의 중요성을 입증하였다.
• 제안된 기울기 추정기는 스토하스틱 랑츠 적분을 통한 역전파 방식보다 훨씬 메모리 효율적이며, 실행 시간도 상당히 낮았다.