[논문 리뷰] Sum-of-Squares Polynomial Flow

Priyank Jaini, Kira A. Selby외 1명|arXiv (Cornell University)|2019. 05. 07.

Metabolomics and Mass Spectrometry Studies인용 수 39

한 줄 요약

본 논문은 Sum-of-Squares (SOS) 흐름을 제시합니다. 이는 학습 가능한 컨디셔너 네트워크를 사용하여 증가하는 단변수 다항식을 활용해 일반화된 자기회귀 흐름과 정상화 흐름을 포괄하는 보편적이고 해석 가능한 삼각-맵 기반 밀도 추정기입니다.

ABSTRACT

Triangular map is a recent construct in probability theory that allows one to transform any source probability density function to any target density function. Based on triangular maps, we propose a general framework for high-dimensional density estimation, by specifying one-dimensional transformations (equivalently conditional densities) and appropriate conditioner networks. This framework (a) reveals the commonalities and differences of existing autoregressive and flow based methods, (b) allows a unified understanding of the limitations and representation power of these recent approaches and, (c) motivates us to uncover a new Sum-of-Squares (SOS) flow that is interpretable, universal, and easy to train. We perform several synthetic experiments on various density geometries to demonstrate the benefits (and short-comings) of such transformations. SOS flows achieve competitive results in simulations and several real-world datasets.

연구 동기 및 목표

• 증가형 삼각 맵을 통한 밀도 추정의 엄밀한 프레임워크 형성
• 이 프레임워크 내에서 자기회귀 모델과 정상화 흐름의 통합 및 비교
• Sum-of-Squares(SOS) 흐름을 보편적이고 해석 가능한 밀도 추정기로 제안 및 분석
• SOS 흐름이 IAF를 일반화하는 방식 및 기존 흐름 방법들과의 연관성 제시
• 합성 및 실제 데이터 실험을 통한 SOS 흐름의 효율성 입증

제안 방법

• 컨디셔너 네트워크가 생성하는 계수를 사용하여 1차원 증가 다항식을 통해 삼각 맵을 매개변수화: T_j(z_1,...,z_j)=P_{2r+1}(z_j; a_j) 이고 a_j=C_j(z_1,...,z_{j-1})
• 단조성을 보장하기 위해 P_{2r+1}를 합의 제곱 다항식의 적분으로 표현: P_{2r+1}(z; a)=c+∫_0^z ∑_{κ=1}^k (∑_{l=0}^r a_{l,κ} u^l)^2 du
• universality 증명: 증가 다항식은 증가하는 연속 함수 공간에서 밀집하므로 r이 커지거나 블록을 쌓아 증가형 삼각 맵을 근사할 수 있음
• SOS 흐름은 명확하게 IAF(r=0)을 일반화하고 더 높은 차 모멘트를 제어하는 해석 가능한 매개변수를 제공함
• 여러 SOS 블록을 쌓아 깊이와 폭 간의 거래를 통해 근사 용량을 증가시킴
• 기존의 자기회귀 및 흐름 기반 방법과 비교하고 합성 및 실제 데이터셋에서 경쟁력 있는 성능을 보임

실험 결과

연구 질문

• RQ1 삼각 맵이 고차원 밀도 추정을 위한 완전하고 해석 가능한 프레임워크를 제공하는가?
• RQ2 SOS 흐름이 목표 밀도에 대해 보편적인 근사 능력을 가지면서 해석 가능하고 학습 가능할까?
• RQ3 SOS 흐름이 기존의 자기회귀 및 정상화 흐름 방법과 어떻게 관련되며 일반화되는가?
• RQ4 실제 데이터에 SOS 흐름을 구현할 때 깊이(weight) 대 폭(depth vs width) 간의 실용적 트레이드-오프는 무엇인가?
• RQ5 SOS 흐름이 표준 벤치마크에서 최첨단 밀도 추정기들과 비교해 경쟁력 있는 성능을 보이는가?

주요 결과

Method	Power	Gas	Hepmass	MiniBoone	BSDS300
MADE	0.40 \u0000b1 0.01	8.47 \u0000b1 0.02	-15.15 \u0000b1 0.02	-12.24 \u0000b1 0.47	153.71 \u0000b1 0.28
MAF affine (5)	0.14 \u0000b1 0.01	9.07 \u0000b1 0.02	-17.70 \u0000b1 0.02	-11.75 \u0000b1 0.44	155.69 \u0000b1 0.28

• SOS 흐름은 보편적이다: 모델의 충분한 복잡성으로 어떠한 목표 밀도도 근사할 수 있다
• SOS 흐름은 inverse autoregressive flow(IAF)를 엄격하게 일반화하고 삼각 맵 프레임워크 내에서 기존의 자기회귀 및 흐름 기반 모델을 포괄한다
• 다항식 기반의 조건부 밀도는 단변수 다항식으로 단조적으로 계산 가능하여 밀도 평가와 역함수 계산이 효율적이다
• 다항식 계수는 목표 밀도의 고차 모멘트를 직접 제어하여 해석 가능성을 향상시킨다
• SOS 블록을 쌓으면 모델 용량과 학습 효율 간의 균형을 맞출 수 있으며, 더 깊은 구성은 더 넓은 구성에 비해 다른 트레이드-오프를 제공한다
• 합성 및 실제 데이터셋에 대한 실험에서 SOS 흐름은 여러 기준 방법에 비해 로그 가능도에서 경쟁력을 보였다