[논문 리뷰] Autoregressive Quantile Flows for Predictive Uncertainty Estimation

Phillip Si, Allan Bishop외 1명|arXiv (Cornell University)|2021. 12. 09.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 정규화 흐름 프레임워크인 자동회귀 분위수 흐름(AQFs)을 소개한다. 이는 최대우도 대신 적절한 점수 규칙을 사용하여 훈련함으로써 고비용의 자코비안 행렬식 계산이 필요 없도록 한다. 이 방법은 효율적인 훈련과 샘플링을 가능하게 하며, 다양한 신경망 아키텍처를 활용하여 시계열 예측, 객체 검출 및 생성 모델링에서 예측 불확실성 추정을 크게 향상시키며, CRPS 및 샘플 품질 기준에서 최신 기준 성능을 달성한다.

ABSTRACT

Numerous applications of machine learning involve representing probability distributions over high-dimensional data. We propose autoregressive quantile flows, a flexible class of normalizing flow models trained using a novel objective based on proper scoring rules. Our objective does not require calculating computationally expensive determinants of Jacobians during training and supports new types of neural architectures, such as neural autoregressive flows from which it is easy to sample. We leverage these models in quantile flow regression, an approach that parameterizes predictive conditional distributions with flows, resulting in improved probabilistic predictions on tasks such as time series forecasting and object detection. Our novel objective functions and neural flow parameterizations also yield improvements on popular generation and density estimation tasks, and represent a step beyond maximum likelihood learning of flows.

연구 동기 및 목표

• 정규화 흐름에서 자코비안 행렬식 계산의 계산 부담을 해결하여 신경망 아키텍처 선택의 제약을 줄이기 위해.
• 정규화 흐름을 사용하여 예측 조건부 분포를 직접 매개변수화함으로써 확률적 예측을 향상시키기 위해.
• 최대우도를 피하고 단순화된 흐름 훈련을 가능하게 하는 적절한 점수 규칙 기반 훈련 목표를 개발하기 위해.
• 새로운 신경 자동회귀 흐름 아키텍처를 통해 빠르고 융통성 있는 샘플링을 가능하게 하기 위해.
• 기존의 흐름 기반 및 확률적 모델에 비해 예측 불확실성 추정 및 생성 모델링에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 최대우도 대신 적절한 점수 규칙 기반의 새로운 훈련 목표를 제안하여, 훈련 중 자코비안 행렬식 계산이 필요 없도록 한다.
• 학습 가능한 유연한 신경망을 사용하는 가역적이고 자동회귀적인 변환을 활용하여 예측 분포를 매개변수화하는 자동회귀 분위수 흐름(AQFs)이라는 정규화 흐름 모델을 도입한다.
• 흐름의 분위수 기반 매개변수화를 적용하여 고차원 공간에서 조건부 분위수 및 누적분포함수를 직접 모델링할 수 있도록 한다.
• 임의의 신경망 아키텍처(예: LSTM, 피드포워드 네트워크)를 사용할 수 있는 전방 훈련 파라다임을 적용하여 효율적인 샘플링과 훈련을 가능하게 한다.
• 모델이 예측 분포로 전체 정규화 흐름을 출력하는 분위수 흐름 회귀(QFR)에 프레임워크를 적용함으로써, 비모수적이고 융통성 있는 불확실성 추정을 가능하게 한다.
• 정규화 흐름과 함께 신경 자동회귀 흐름을 활용하여 표현력 있고, 계산이 가능하며, 효율적인 확률적 모델링을 지원한다.

실험 결과

연구 질문

• RQ1 적절한 점수 규칙 기반 훈련 목표가 최대우도를 대체함으로써 모델 표현력에 손상을 주지 않고 정규화 흐름에서 사용될 수 있는가?
• RQ2 자동회귀 분위수 흐름이 효율적인 훈련과 샘플링을 유지하면서도 다양한 신경망 아키텍처를 지원할 수 있는가?
• RQ3 분위수 흐름 회귀가 시계열 예측 및 객체 검출에서 기존의 확률적 모델에 비해 더 나은 예측 불확실성 추정을 제공하는가?
• RQ4 분위수 흐름 모델의 성능이 밀도 추정 및 이미지 생성 작업에서 최대우도 기반 흐름 및 GAN과 비교해 어떻게 되는가?
• RQ5 분위수 흐름이 다변량 분포에 대한 단변량 분위수 함수의 일반화로 간주될 수 있는가?

주요 결과

• AQFs는 여러 UCI 데이터셋에서 CRPS(연속적 순위 확률 점수) 기준으로 최신 기준 성능을 달성하며, 최대우도 기반 MAF 및 분위수 손실 기반 MAF를 모두 능가한다.
• UCI 데이터셋에서 NAQF는 BSDS300(0.033), Miniboone(0.525), Gas(0.513), Power(0.502), Hepmass(0.523)에서 CRPS 값을 기록하여 MAF-LL 및 MAF-QL보다 유의미하게 뛰어나다.
• 이미지 생성 작업에서 NAQF는 가장 낮은 판별기 정확도(0.723)와 CRPS(2.14)를 기록하여 MAF-LL(D-loss: 0.978) 및 MAF-QL(D-loss: 0.779)보다 더 높은 품질의 샘플을 생성한다.
• 시계열 예측에서 AQF는 DeepAR보다 예측 불확실성 추정에서 뛰어난 성능을 보였으며, 32.1%의 시계열에서 더 낮은 CRPS를 기록했고, 예측 분위수의 진짜 값 커버리지가 향상되었다.
• 이 방법은 LSTMs와 같은 융통성 있는 신경망 아키텍처를 사용한 훈련을 가능하게 하며, 이전의 흐름 모델이 샘플링을 위해 역방향 전파가 필요한 것과는 달리 빠른 샘플링을 지원한다.
• 제안된 목표는 자코비안 행렬식 계산 없이도 훈련이 가능하게 하여 구현을 단순화하고, 흐름 모델에서 사용 가능한 신경망의 범위를 넓힌다.