[논문 리뷰] Modelling heterogeneous distributions with an Uncountable Mixture of Asymmetric Laplacians

Axel Brando, José A. Rodríguez-Serrano외 2명|arXiv (Cornell University)|2019. 10. 27.

Neural Networks and Applications인용 수 14

한 줄 요약

이 논문은 비대칭 라플라스 분포의 무한한 혼합을 암묵적으로 학습하는 신경망을 통해 이질적이고 비대칭적이며 多모달인 출력 분포를 모델링하는 딥러닝 프레임워크인 Uncountable Mixture of Asymmetric Laplacians(UMAL)을 제안한다. 이 방법은 Airbnb 가격 설정 및 금융 예측과 같은 복잡한 분포를 포함한 회귀 과제에서 기존의 기준 모델들보다 더 뛰어난 校정성과 가능도 성능을 달성한다.

ABSTRACT

In regression tasks, aleatoric uncertainty is commonly addressed by considering a parametric distribution of the output variable, which is based on strong assumptions such as symmetry, unimodality or by supposing a restricted shape. These assumptions are too limited in scenarios where complex shapes, strong skews or multiple modes are present. In this paper, we propose a generic deep learning framework that learns an Uncountable Mixture of Asymmetric Laplacians (UMAL), which will allow us to estimate heterogeneous distributions of the output variable and shows its connections to quantile regression. Despite having a fixed number of parameters, the model can be interpreted as an infinite mixture of components, which yields a flexible approximation for heterogeneous distributions. Apart from synthetic cases, we apply this model to room price forecasting and to predict financial operations in personal bank accounts. We demonstrate that UMAL produces proper distributions, which allows us to extract richer insights and to sharpen decision-making.

연구 동기 및 목표

• 대칭적이거나 단모달이거나 파rametric한 출력 분포를 가정하는传통적 회귀 모델의 한계를 해결한다.
• 복잡한 이질적 분포를 모델링할 때 표준 혼합 밀도 네트워크(MDNs)의 불안정성과 고정된 구성 요소 수의 문제를 극복한다.
• 강한 파rametric 가정 없이 다모달, 비대칭적이며 이질적인 출력 분포를 포괄하는 유연한 딥러닝 프레임워크를 개발한다.
• 출력 분포가 입력 조건에 따라 크게 변하는 실제 회귀 과제에서 애날레틱 불확실성 추정을 향상시킨다.
• 모델이 결정을 내리는 데 적합한 잘 校정된, 다층적인 예측 분포를 생성할 수 있음을 입증한다.

제안 방법

• 딥 네트워크를 사용하여 비대칭 라플라스 분포(Asymmetric Laplace Distributions, ALDs)의 무한한 혼합의 파라미터를 예측함으로써 연속적이고 비가чёт된 혼합을 효과적으로 모델링한다.
• 분위수 회귀와 ALD 분포 간의 연결성을 활용하여 분위수 기반 불확실성 추정을 혼합 프레임워크로 일반화한다.
• 출력 분포에 대한 최대우도추정을 통해 복잡한 형태를 파라미터 수 증가 없이도 탄력적으로 근사할 수 있도록 훈련한다.
• 추론 시 몬테카를로 샘플링을 적용하여 다양한 예측을 생성함으로써 훈련 및 추론 중에 동적 배치 크기를 효과적으로 시뮬레이션한다.
• 음수 로그우도 최소화 및 예측된 校정성과 이상적 校정성 간의 평균 절대오차와 같은 지표를 사용하여 모델의 校정성을 확보한다.
• 예측 분포 임베딩에 t-SNE와 DBSCAN 군집화를 적용하여 실세계 데이터(예: 바르셀로나의 Airbnb 가격)에서 공간적 및 분포 패턴을 분석한다.

실험 결과

연구 질문

• RQ1 대칭성이나 단모달성을 가정하지 않고도 딥러닝 모델이 복잡하고 이질적인 출력 분포를 효과적으로 근사할 수 있는가?
• RQ2 제안된 UMAL 프레임워크는 다모달 및 비대칭 분포를 모델링할 때 표준 MDNs와 분위수 회귀에 비해 어떻게 비교되는가?
• RQ3 실제 회귀 과제에서 복잡한 출력 분포를 가진 경우 UMAL은 얼마나 뛰어난 校정성과 가능도 성능을 보이는가?
• RQ4 모델의 예측 분포는 금융 및 가격 데이터에서 의미 있는 공간적 또는 행동 패턴을 드러낼 수 있는가?
• RQ5 암묵적인 무한한 ALD 혼합은 유한한 구성 요소를 가진 MDNs보다 더 나은 일반화 및 안정성을 제공하는가?

주요 결과

• BCN RPF 데이터셋에서 UMAL은 보다 낮은 평균 절대 오차(0.04 ± 0.01)를 기록하여 10개 구성 요소를 가진 MDNs와 독립적 분위수 회귀를 포함한 모든 기준 모델들을 앞서며 가장 뛰어난 校정성 성능을 보였다.
• YVC RPF 데이터셋에서는 UMAL이 두 번째로 낮은 校정오차(0.07 ± 0.01)를 기록하여 10개 구성 요소를 가진 정규분포 및 라플라스 MDNs보다 뚜렷이 뛰어난 성능을 보였다.
• 모델는 복잡한 형태(예: 다모달성, 비대칭성 등)를 잘 포착하는 잘 校정된, 적절한 예측 분포를 생성하였다.
• UMAL의 예측 분포는 바르셀로나의 Airbnb 가격에서 공간적 군집 패턴을 드러내었으며, DBSCAN 군집화를 통해 도시 전역의 명백한 마켓 세그먼트를 식별하였다.
• 합성 및 실세계 과제에서 UMAL은 뛰어난 가능도 적응 능력을 보이며 이질적 분포를 효과적으로 모델링할 수 있음을 확인하였다.
• 몬테카를로 샘플링의 사용은 동적 추론 행동을 가능하게 하여 배치 크기를 변동시키는 것처럼 작용하고 훈련 및 예측 과정에서의 강건성을 향상시켰다.