[논문 리뷰] Calibrated Multiple-Output Quantile Regression with Representation Learning

Shai Feldman, Stephen Bates외 1명|arXiv (Cornell University)|2021. 10. 02.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

이 논문은 조건부 variational autoencoder(CVAE)를 통해 다변량 응답을 단일 모드 잠재 공간으로 변환함으로써 표현 학습을 활용하는 校정된 다중 출력 분위수 회귀 방법을 제안한다. 여기서 방향 분위수 회귀(DQR)를 적용하여 비볼록이고 민첩한 예측 영역을 구축한다. 이 방법은 유한 표본에서의 마진 복개 보장을 보장하는 새로운 확률적 예측 확장 기법을 통해 기존 방법보다 훨씬 작고 정확도가 높은 예측 영역을 생성한다.

ABSTRACT

We develop a method to generate predictive regions that cover a multivariate response variable with a user-specified probability. Our work is composed of two components. First, we use a deep generative model to learn a representation of the response that has a unimodal distribution. Existing multiple-output quantile regression approaches are effective in such cases, so we apply them on the learned representation, and then transform the solution to the original space of the response. This process results in a flexible and informative region that can have an arbitrary shape, a property that existing methods lack. Second, we propose an extension of conformal prediction to the multivariate response setting that modifies any method to return sets with a pre-specified coverage level. The desired coverage is theoretically guaranteed in the finite-sample case for any distribution. Experiments conducted on both real and synthetic data show that our method constructs regions that are significantly smaller compared to existing techniques.

연구 동기 및 목표

• 다변량 분위수 회귀에서 직사각형 또는 볼록 예측 영역의 한계를 해결함으로써, 응답 변수의 복잡한 비볼록 불확실성 구조를 포착하지 못하는 문제를 해결한다.
• 유한 표본 i.i.d. 가정 하에 사용자 지정된 이론적 보장이 있는 마진 복개율 (1−α)을 갖는 다변량 예측 영역을 구축하는 방법을 개발한다.
• 응답을 단일 모드 잠재 공간으로 변환함으로써 방향 분위수 회귀가 더 효과적으로 작용하도록 하여 영역 효율성을 향상시키고, 이후 원래 공간으로의 역변환을 수행한다.
• 초기 복개율에 따라 영역 크기를 조정하는 이중 케이스 확률적 예측 기반 보정 절차를 통해 최종 예측 영역의 校정을 보장한다.
• 제안된 방법이 합성 및 실세계 데이터에서 기준 방법보다 더 작고 더 정보가 풍부한 예측 영역을 생성함을 입증한다.

제안 방법

• 다변량 응답 Y를 낮은 차원의 단일 모드 잠재 표현 Z로 매핑하기 위해 CVAE를 훈련시켜 Z|X의 조건부 분포가 약간 표준 정규분포가 되도록 한다.
• 잠재 공간 Z에서 방향 분위수 회귀(DQR)를 적용하여 다수의 방향에서 추정된 분위수로 정의된 반공간의 교차로 구성된 분위수 영역을 생성한다.
• Z에서의 결과 DQR 영역을 역 CVAE를 통해 원래 응답 공간 Y로 변환함으로써 비볼록이고 민첩한 예측 영역을 도출한다.
• 유한 표본 마진 복개 보장을 보장하기 위해 DQR 영역에 대해 새로운 확률적 예측 프레임워크를 도입하며, 초기 경험 복개율에 기반해 영역 크기를 조정한다(사례 1: 너무 작으면 확장; 사례 2: 너무 크면 축소).
• 보정 절차는 이중 단계 방법을 사용한다: 첫째, 기본 영역의 경험 복개율을 계산하고, 둘째, 초기 복개율이 명목 수준 이하인지 이상이냐에 따라 스케일링 또는 임계값 전략을 적용한다.
• 최종 예측 영역는 Z에서의 보정된 영역에 대해 역 CVAE를 적용하여 Y에서 얻는다. 이는 복개 보장을 유지하면서 영역의 밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 CVAE를 통한 표현 학습이 응답을 단일 모드 잠재 공간으로 변환함으로써 다변량 분위수 회귀 영역의 민첩성과 효율성을 향상시킬 수 있는가?
• RQ2 학습된 잠재 공간에서 방향 분위수 회귀를 적용할 경우 직접적인 다변량 분위수 회귀보다 더 정확하고 덜 보수적인 예측 영역을 도출할 수 있는가?
• RQ3 유한 표본 마진 복개 보장을 이론적으로 보장하는 조건에서 다변량 응답 설정에 대해 새로운 확률적 예측 확장 기법을 효과적으로 적용할 수 있는가?
• RQ4 기존 방법들인 단순 마진 분위수 회귀 및 벡터 분위수 회귀와 비교할 때 제안된 방법은 영역 크기와 복개 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 잠재 차원과 명목 복개율 수준이 보정된 영역의 경험 복개율에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 합성 및 실세계 데이터에서 모두 기준 방법보다 예측 영역이 훨씬 작다는 것이 입증되었으며, 이는 효율성 향상을 시사한다.
• 이 방법은 어떤 분포에 대해서도 이론적 유한 표본 마진 복개 보장을 확보하여 진짜 응답이 예측 영역 내에 있을 확률이 최소 1−α 이상이 되도록 보장한다.
• 응답을 단일 모드 잠재 공간으로 매핑하기 위해 CVAE를 사용함으로써 비볼록이고 형태가 유연한 예측 영역을 구성할 수 있으며, 이는 진짜 불확실성 구조를 더 잘 반영한다.
• 보정 절차는 초기 복개율에 따라 영역 크기를 효과적으로 조정하며, 별도의 전략을 사용하여 사례 1(초기 복개율 < 1−α)과 사례 2(초기 복개율 > 1−α)에 대응하여 강건성을 확보한다.
• 경험적 결과는 영역 부피를 줄이면서도 복개율을 유지하거나 향상시키며, 특히 진짜 응답 분포가 비타원형 또는 비볼록일 경우 특히 두드러진다.
• 이 방법은 확장성이 뛰어나 효율적이며, 대부분의 설정에서 최대 50개의 입력 특성 조건에서도 1시간 이내 실행 시간과 13GB 이내 메모리 사용량을 기록한다.