[논문 리뷰] Piecewise Normalizing Flows

H. T. J. Bevins, Will Handley외 1명|arXiv (Cornell University)|2023. 05. 04.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 다중 모드 밀도 추정을 향상시키기 위해 목표 데이터를 모드로 클러스터링한 후 각 클러스터별로 별도의 노멀라이징 플로를 훈련하는 조각별 노멀라이징 플로(PNF)를 제안한다. 각 클러스터의 위상 기하학을 표준 정규 기저 분포와 일치시킴으로써, PNF는 기존 방법들인 학습된 기각 샘플링(Stimper 등, 2022)보다 더 높은 모의 정확도를 달성하며, 특히 조기 정지 조건에서 유리하다. 또한 병렬 훈련이 가능하고, 복잡한 분포에 대해 더 높은 표현 능력을 제공한다.

ABSTRACT

Normalizing flows are an established approach for modelling complex probability densities through invertible transformations from a base distribution. However, the accuracy with which the target distribution can be captured by the normalizing flow is strongly influenced by the topology of the base distribution. A mismatch between the topology of the target and the base can result in a poor performance, as is typically the case for multi-modal problems. A number of different works have attempted to modify the topology of the base distribution to better match the target, either through the use of Gaussian Mixture Models (Izmailov et al., 2020; Ardizzone et al., 2020; Hagemann & Neumayer, 2021) or learned accept/reject sampling (Stimper et al., 2022). We introduce piecewise normalizing flows which divide the target distribution into clusters, with topologies that better match the standard normal base distribution, and train a series of flows to model complex multi-modal targets. We demonstrate the performance of the piecewise flows using some standard benchmarks and compare the accuracy of the flows to the approach taken in Stimper et al. (2022) for modelling multi-modal distributions. We find that our approach consistently outperforms the approach in Stimper et al. (2022) with a higher emulation accuracy on the standard benchmarks.

연구 동기 및 목표

• 기저 분포와 목표 분포 사이의 위상 불일치로 인해 표준 노멀라이징 플로가 다중 모드 분포에서 성능이 열 劣한 문제를 해결하기 위해.
• 목표 분포를 위상 기하학적으로 더 단순한 클러스터로 나누어 플로의 표현 능력과 훈련 효율성을 향상시키기 위해.
• 역행성 유지와 함께 병렬 훈련을 가능하게 하는 가역적이고 미분 가능한 프레임워크를 개발하기 위해.
• 기준 다중 모드 분포에서 최신 기술인 학습된 기각 샘플링(Stimper 등, 2022)과 비교해 뛰어난 성능을 보여주기 위해.

제안 방법

• 방법은 목표 샘플을 미분 가능한 클러스터링 알고리즘을 사용해 k개의 클러스터로 분할함으로써 시작되며, 각 샘플이 하나의 클러스터에 할당된다.
• 각 클러스터에 대해 별도의 노멀라이징 플로(MAF 등)를 훈련시키며, 각 클러스터에 표준 정규 기저 분포를 사용한다.
• 각 플로는 표준 정규 분포에서 자신이 할당된 클러스터 내의 조건부 분포로의 가역 변환을 학습한다.
• 클러스터 할당이 알려져 있을 경우 전체 목표 분포를 대상으로 샘플링과 밀도 평가가 가능한 가역적이고 미분 가능한 전체 모델이 된다.
• 아키텍처는 개별 플로의 병렬 훈련을 가능하게 하여 전체 훈련 시간을 단축하고 확장성을 향상시킨다.
• 표준 벤치마크와 물리적 데이터 세트를 사용해 평가되었으며, 단일 플로 및 학습 기반 기반 방법과의 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 단일 기저 분포를 사용하는 표준 플로와 비교해 다중 모드 목표 분포를 클러스터로 나누는 것이 모델링 정확도를 향상시키는가?
• RQ2 조각별 노멀라이징 플로의 성능은 밀도 추정 정확도와 훈련 효율성 측면에서 학습된 기각 샘플링(Stimper 등, 2022)과 비교해 어떻게 되는가?
• RQ3 조각별 접근 방식은 표준 노멀라이징 플로가 애초에 악영향을 미치는 모드 간 가짜 '다리' 형성 정도를 얼마나 줄이는가?
• RQ4 클러스터링을 통해 훈련 수렴도 향상되고 계산 비용이 감소하는가, 특히 조기 정지 조건에서?
• RQ5 여러 플로의 병렬 훈련을 가능하게 하면서도 미분 가능성과 가역성을 유지할 수 있는가?

주요 결과

• 표준 다중 모드 벤치마크에서 PNF는 Stimper 등(2022)의 방법보다 항상 더 높은 모의 정확도를 보이며, 특히 조기 정지 조건에서 유의미한 우월성을 보였다.
• 각 클러스터의 위상 기하학을 가우시안 기저 분포와 일치시킴으로써, 그림 1에서 시각적으로 확인된 바와 같이 PNF는 모드 간 가짜 '다리' 형성을 줄였다.
• 각 클러스터별 개별 플로의 병렬 훈련이 가능해져 훈련 효율성과 확장성에 크게 기여했다.
• 물리적 데이터 세트(HEPMASS, MINIBOONE, POWER, GAS)에서 PNF는 표준 MAF와 경쟁 가능한 성능을 보였지만, 실루엣 스코어는 최소 테스트 클러스터 수(k=2)를 지지하여 이 데이터 세트에는 제한된 다중 모드성이 있음을 시사했다.
• 클러스터 할당이 고정되어 있고 클러스터링 과정이 미분 가능할 경우, PNF는 가역성과 미분 가능성을 유지하여 노멀라이징 플로의 핵심 이점을 그대로 보존했다.
• 사용자 정의 클러스터 가중치를 통한 데이터 생성이 가능하므로, 기계 학습에서 데이터 기반 선택 편향을 완화하는 데도 잠재력이 있다.