[논문 리뷰] Leveraging Probabilistic Circuits for Nonparametric Multi-Output Regression

Zhongjie Yu, Mingye Zhu외 3명|arXiv (Cornell University)|2021. 06. 16.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 확률 회로를 사용하여 단일 출력 가우시안 프로세스 전문가의 혼합을 구성함으로써 비모수적 다중 출력 회귀에 대한 확장 가능하고 정확한 추론 모델인 MOMoGP를 제안한다. 입력 공간과 출력 공간을 모두 재귀적으로 분할함으로써 MOMoGP는 상호 출력 상관관계를 효율적으로 포착하며, O(KM³) 시간 내에 정확한 사후 추론을 달성한다. 이는 에너지 및 usFlight와 같은 대규모 데이터셋에서 낮은 음의 예측 밀도(log predictive density, NLPD)를 기록함으로써 최신 기법들을 능가하는 예측 불확실성 추정 성능을 보여준다.

ABSTRACT

Inspired by recent advances in the field of expert-based approximations of Gaussian processes (GPs), we present an expert-based approach to large-scale multi-output regression using single-output GP experts. Employing a deeply structured mixture of single-output GPs encoded via a probabilistic circuit allows us to capture correlations between multiple output dimensions accurately. By recursively partitioning the covariate space and the output space, posterior inference in our model reduces to inference on single-output GP experts, which only need to be conditioned on a small subset of the observations. We show that inference can be performed exactly and efficiently in our model, that it can capture correlations between output dimensions and, hence, often outperforms approaches that do not incorporate inter-output correlations, as demonstrated on several data sets in terms of the negative log predictive density.

연구 동기 및 목표

• 기존의 전문가 기반 가우시안 프로세스 모델이 단일 출력 회귀에 집중하고 상호 출력 상관관계를 효과적으로 모델링하지 못하는 한계를 해결한다.
• 확률 회로 내부에 단일 출력 GP 전문가의 혼합을 구성하여 대규모 다중 출력 회귀에서 효율적이고 정확한 사후 추론을 가능하게 한다.
• 입력 공간과 출력 공간을 재귀적으로 분해하여 출력 차원 간의 복잡한 의존성을 모델링하면서도 출력 차원의 제곱근 비용이 발생하지 않도록 한다.
• 이미지 업스케일링 및 베이지안 최적화와 같은 응용 분야에서 핵심적인 예측 불확실성 정량화를 향상시킨다.
• 출력 차원의 공동 모델링이 독립적 또는 근사 모델 대비 회귀 성능을 향상시키며, 특히 음의 예측 밀도(NLPD) 측면에서 개선됨을 입증한다.

제안 방법

• 각 잎 노드가 단일 출력 GP 전문가를 나타내는 확률 회로를 사용하여 깊이 구조화된 단일 출력 GP 전문가 혼합을 구성한다.
• 계층적 구조를 통해 입력 공간과 출력 공간을 재귀적으로 분할하여 계산을 국소화하고 효율적인 추론을 가능하게 한다.
• 확률 회로의 추론 가능성을 활용하여, 관측치의 소수의 부분 집합에만 조건부로 된 개별 GP 전문가의 추론으로 문제를 축소함으로써 정확한 사후 추론을 수행한다.
• 확률 회로의 추론 가능성을 활용하여 기울기 계산을 효율적으로 수행할 수 있도록 하여, 최대 우도 추정을 통한 초모수 최적화를 수행한다.
• Trapp 등(2020)의 접근을 출력 공간 분해를 통합함으로써 다중 출력 환경으로 확장하여 출력 상관관계의 공동 모델링을 가능하게 한다.
• 이미지 업스케일링과 같은 응용 분야에서 MOMoGP 사후 분포의 예측 평균을 비모수적 보간 함수로 활용한다.

실험 결과

연구 질문

• RQ1 확률 회로로 구성된 단일 출력 GP 전문가 혼합은 다중 출력 회귀에서 정확하고 효율적인 사후 추론을 가능하게 하는가?
• RQ2 입력 공간과 출력 공간을 모두 재귀적으로 분해함으로써 높은 계산 비용 없이도 상호 출력 상관관계를 효과적으로 모델링할 수 있는가?
• RQ3 예측 불확실성(NLPD), 회귀 오차(RMSE, MAE), 확장성 측면에서 MOMoGP는 기존의 전문가 기반 및 희소 변분 GP 방법과 비교해 어떻게 성능을 내는가?
• RQ4 정확한 불확실성 추정과 부드러운 보간이 필수적인 이미지 업스케일링과 같은 실세계 작업에 MOMoGP를 효과적으로 적용할 수 있는가?
• RQ5 독립적 또는 변환된 단일 출력 모델 대비 출력 차원의 공동 모델링이 예측 성능을 얼마나 향상시키는가?

주요 결과

• MOMoGP는 문제를 개별 GP 전문가의 추론으로 축소함으로써 정확한 사후 추론을 달성하며, O(KM³) 복잡도로 계산 가능하고 확장 가능한 구조를 확보한다. 여기서 M은 전문가당 관측 수이다.
• 에너지 및 usFlight와 같은 대규모 데이터셋에서 MOMoGP는 비교 모델들 중에서 가장 낮은 음의 예측 밀도(NLPD)를 기록하여 예측 불확실성 추정 성능이 뛰어나다는 것을 입증한다.
• MOMoGP는 NLPD 측면에서 단일 출력 GP 모델과 다중 출력 희소 변분 GP 기준 모델을 모두 능가하지만, RMSE 및 MAE 값은 경쟁적인 성능을 유지한다.
• 이미지 업스케일링에서 MOMoGP는 RMSE 1.289를 기록하여 이중선형 보간(RMSE: 1.542)과 최근접 이웃(RMSE: 1.855)을 모두 능가하며, 더 선명한 윤곽선과 덜 흐릿한 결과를 생성한다.
• 낮은 NLPD 값은 평균뿐만 아니라 전체 예측 분포를 더 잘 모델링하고 있음을 보여주며, MOMoGP가 상호 출력 상관관계를 효과적으로 포착하고 있음을 입증한다.
• 입력 공간과 출력 공간의 재귀적 분해를 통해 MOMoGP는 단일 출력 전문가 모델을 초월하여 더 표현력 있고 확장 가능한 다중 출력 회귀 프레임워크를 제공한다.