[논문 리뷰] Deep Non-Crossing Quantiles through the Partial Derivative

Axel Brando, Joan Gimeno외 2명|arXiv (Cornell University)|2022. 01. 30.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 체비셰프 다항식을 사용하여 분위수 함수의 편미분을 모델링함으로써 분위수 간의 교차를 방지하는 딥러닝 프레임워크를 제안한다. 이는 기계 정밀도 수준까지 단조증가성을 보장한다. 이 방법은 다양한 실세계 데이터셋에서 상태최고 수준의 로그우도 성능를 달성하면서도 분위수 간의 교차를 완전히 제거한다.

ABSTRACT

Quantile Regression (QR) provides a way to approximate a single conditional quantile. To have a more informative description of the conditional distribution, QR can be merged with deep learning techniques to simultaneously estimate multiple quantiles. However, the minimisation of the QR-loss function does not guarantee non-crossing quantiles, which affects the validity of such predictions and introduces a critical issue in certain scenarios. In this article, we propose a generic deep learning algorithm for predicting an arbitrary number of quantiles that ensures the quantile monotonicity constraint up to the machine precision and maintains its modelling performance with respect to alternative models. The presented method is evaluated over several real-world datasets obtaining state-of-the-art results as well as showing that it scales to large-size data sets.

연구 동기 및 목표

• 예측된 분위수가 단조성을 위반하는 분위수 교차 문제를 해결하기 위해.
• 예측 성능을 희생시키지 않고 조건부 분위수 함수의 단조성을 보장하는 일반적인 딥러닝 랩퍼를 개발하기 위해.
• 예측된 분위수가 조건부 분포의 타당성을 유지하기 위해 분위수 수준 τ에 대해 엄격히 증가하도록 보장하기 위해.
• 실세계 데이터셋에서 이 방법을 평가하고 최신 기술 수준의 분위수 회귀 모델과 성능를 비교하기 위해.
• 대규모 데이터에서 단조성을 유지하면서도 확장성과 강인성을 입증하기 위해.

제안 방법

• 분위수 함수의 τ에 대한 편미분을 양의 계수를 출력하는 신경망을 사용하여 모델링한다.
• 학습된 도함수를 통합하여 분위수 함수를 재구성하기 위해 체비셰프 다항식 근사를 사용하며, 이로 인해 단조성이 보장된다.
• 신경망은 다항식 계수를 정의하는 d개의 양의 값(근)을 출력하며, 이를 통해 도함수를 계산한다.
• 소수점 이하의 작은 이격을 가진 소프트플러스 활성화 함수를 사용하여 네트워크 출력을 엄격히 양수로 보장함으로써 도함수의 양수성을 강제한다.
• 각 훈련 단계에서 τ를 [0,1]에서 균일하게 샘플링하여 분위수 회귀 손실의 적분을 몬테카를로 근사로 훈련한다.
• 다항식 표현의 비음수 계수를 강제하기 위해 네트워크 가중치에 ReLU 활성화 함수를 적용한다.

실험 결과

연구 질문

• RQ1 모델링 성능를 희생시키지 않고도 예측된 분위수의 단조성을 보장할 수 있는 딥러닝 모델을 설계할 수 있는가?
• RQ2 분위수 함수의 편미분을 어떻게 매개변수화할 수 있을까? 이를 통해 분위수 간 교차를 보장할 수 있는가?
• RQ3 체비셰프 다항식 근사를 통한 단조성 강제가 기존 방법보다 더 뛰어난 로그우도 성능를 달성하는가?
• RQ4 제안된 방법은 대규모 데이터셋에 대해 확장성과 단조성을 유지하면서도 높은 예측 정확도를 유지할 수 있는가?
• RQ5 분위수 교차와 우도 추정 측면에서 이 방법은 최신 기술 수준의 분위수 회귀 모델과 비교해 어떻게 성능를 내는가?

주요 결과

• 제안된 방법은 8개의 UCI 데이터셋에서 상태최고 수준의 로그우도 성능를 달성하며, IQN, PCDN, NAM을 모두 능가한다.
• 모든 실험에서 분위수 간 교차가 0개로 나타났으며, 이는 도함수 근사의 단조성에 의해 보장된다.
• 표준 분위수 회귀 모델과 달리 기계 정밀도 수준까지 단조성을 유지하면서도 높은 예측 성능를 유지를 보였다.
• Titan X와 RTX 2080 GPU를 탑재한 워크스테이션에서의 실험을 통해 대규모 데이터셋에 대해 효과적으로 확장됨을 입증했다.
• PCDN과 제안된 모델만이 단조성을 보장하지만, IQN과 같은 다른 모델들은 심각한 분위수 교차를 보였다.
• 모든 20개의 데이터 분할에서 제안된 방법의 교차 분위수 수는 0개였으며, 이는 그 방법의 강인성과 타당성을 확인한다.