[논문 리뷰] Masked Autoregressive Flow for Density Estimation

George Papamakarios, Theo Pavlakou외 1명|arXiv (Cornell University)|2017. 05. 19.

Model Reduction and Neural Networks참고 문헌 36인용 수 202

한 줄 요약

MAF는 마스킹된 자동회귀 모델의 스택을 도입하여 밀도 추정을 위한 유연하고 다루기 쉬운 정규화 흐름을 형성하고, 여러 데이터셋에서 최첨단 결과를 달성하며 RealNVP를 능가합니다.

ABSTRACT

Autoregressive models are among the best performing neural density estimators. We describe an approach for increasing the flexibility of an autoregressive model, based on modelling the random numbers that the model uses internally when generating data. By constructing a stack of autoregressive models, each modelling the random numbers of the next model in the stack, we obtain a type of normalizing flow suitable for density estimation, which we call Masked Autoregressive Flow. This type of flow is closely related to Inverse Autoregressive Flow and is a generalization of Real NVP. Masked Autoregressive Flow achieves state-of-the-art performance in a range of general-purpose density estimation tasks.

연구 동기 및 목표

• 정확한 밀도 평가를 위한 유연하면서도 계산 가능해야 하는 신경 밀도 추정기들을 고무한다.
• 마스킹을 통해 자동회귀 모델을 쌓아 더 깊은 정규화 흐름(MAF)을 제안한다.
• MAF, Inverse Autoregressive Flow (IAF), Real NVP 간의 이론적 연결을 보인다.
• 다양한 밀도 추정 작업에서 Real NVP 및 MADE 변형들과 비교하여 MAF를 평가한다.
• 조건부 밀도 추정 확장 및 실용적 구현을 시연한다.

제안 방법

• MADE의 마스킹으로 매개변수화된 가우시안 조건부를 사용하여 p(x)를 자동회귀 조건부로 모델링한다.
• 여러 개의 자동회귀 층을 쌓아 한 층의 난수들이 다음 층을 이끌도록 하여(MAF를 흐름으로) 구성한다.
• MADE 기반 마스킹을 통해 한 번의 순전파로 정확한 밀도를 계산하여 병렬 평가가 가능하도록 한다.
• 계산적 트레이드오프와 이론적 연결을 명확히 하기 위해 MAF를 IAF 및 Real NVP와 연관지어 해석한다.
• 측면 정보를 보완해 입력을 확장하고 MADE를 조건부로 쌓아 조건부 MAF를 도입한다.

실험 결과

연구 질문

• RQ1 다층 자동회귀 모델을 흐름으로 쌓는 것이 단일 자동회귀 모델보다 밀도 추정에 어떤 이점을 제공하는가?
• RQ2 밀도 추정 및 샘플링을 위한 MAF와 IAF 간의 계산적 트레이드오프는 무엇인가?
• RQ3 표준 밀도 추정 벤치마크에서 Real NVP 및 MADE 변형과 비교하여 MAF의 성능은 어떤가?
• RQ4 MAF를 조건부 밀도 추정으로 효과적으로 확장할 수 있는가?

주요 결과

Dataset	Gaussian	MADE	MADE MoG	Real NVP (5)	Real NVP (10)	MAF (5)	MAF (10)	MAF MoG (5)
POWER	-7.74 ± 0.02	-3.08 ± 0.03	0.40 ± 0.01	-0.02 ± 0.01	0.17 ± 0.01	0.14 ± 0.01	0.24 ± 0.01	0.30 ± 0.01
GAS	0.02 ± 0.00	3.56 ± 0.04	8.47 ± 0.02	4.78 ± 1.80	8.33 ± 0.14	9.07 ± 0.02	10.08 ± 0.02	9.59 ± 0.02
HEPMASS	-3.58 ± 0.02	-20.98 ± 0.02	-15.15 ± 0.02	-19.62 ± 0.02	-17.70 ± 0.02	-17.39 ± 0.02	-17.73 ± 0.02	-17.39 ± 0.02
MINIBOONE	-37.24 ± 1.07	-15.59 ± 0.50	-12.27 ± 0.47	-13.55 ± 0.49	-11.75 ± 0.44	-11.68 ± 0.44	-12.24 ± 0.45	-11.68 ± 0.44
BSDS300	96.67 ± 0.25	148.85 ± 0.28	153.71 ± 0.28	152.97 ± 0.28	153.28 ± 1.78	155.69 ± 0.28	154.93 ± 0.28	156.36 ± 0.28

• MAF는 다양한 데이터셋에서 무조건부 밀도 추정 시 Real NVP를 능가한다.
• MAF 변형들(MAF MoG 포함)은 UCI 데이터셋과 BSDS300 이미지 패치에서 최첨단 또는 경쟁력 있는 결과를 달성한다.
• MAF는 x에 대해 한 번의 평가로 강력한 밀도 추정을 제공하는 반면, 샘플링은 D층 전체에 걸쳐 순차적이며 IAF와 차이가 있다.
• MAF MoG (5)는 단일 모델 중 BSDS300에서 보고된 최상의 결과(156.36 nats)를 달성한다.
• 조건부 MAF는 MNIST 및 CIFAR-10에서 여러 기준선 대비 밀도 추정을 향상시키며, MADE MoG가 자주 뛰어나다.
• 다양한 데이터셋(POWER, GAS, HEPMASS, MINIBOONE, BSDS300)에 걸쳐 MAF와 그 변형들이 무조건부 설정에서 Real NVP를 일반적으로 능가한다.