[논문 리뷰] Deep Quantile Regression: Mitigating the Curse of Dimensionality Through Composition

Guohao Shen, Yuling Jiao외 3명|arXiv (Cornell University)|2021. 07. 10.

Neural Networks and Applications참고 문헌 63인용 수 10

한 줄 요약

이 논문은 조합 구조를 가정하는 조건부 분위수 함수를 모델링하기 위해 딥 신경망을 사용하는 비모수적 분위수 회귀 방법인 딥 분위수 회귀(DQR)를 제안한다. 낮은 차원의 구성 요소 함수를 활용함으로써 DQR는 로그 인자까지 최적의 수렴 속도를 달성하며, 기저 차원에 대해 지수적으로 증가하는 대신 선형 또는 이차적으로 증가하는 오차 범위를 통해 차원의 귀환 문제를 완화한다.

ABSTRACT

This paper considers the problem of nonparametric quantile regression under the assumption that the target conditional quantile function is a composition of a sequence of low-dimensional functions. We study the nonparametric quantile regression estimator using deep neural networks to approximate the target conditional quantile function. For convenience, we shall refer to such an estimator as a deep quantile regression (DQR) estimator. We show that the DQR estimator achieves the nonparametric optimal convergence rate up to a logarithmic factor determined by the intrinsic dimension of the underlying compositional structure of the conditional quantile function, not the ambient dimension of the predictor. Therefore, DQR is able to mitigate the curse of dimensionality under the assumption that the conditional quantile function has a compositional structure. To establish these results, we analyze the approximation error of a composite function by neural networks and show that the error rate only depends on the dimensions of the component functions. We apply our general results to several important statistical models often used in mitigating the curse of dimensionality, including the single index, the additive, the projection pursuit, the univariate composite, and the generalized hierarchical interaction models. We explicitly describe the prefactors in the error bounds in terms of the dimensionality of the data and show that the prefactors depends on the dimensionality linearly or quadratically in these models. We also conduct extensive numerical experiments to evaluate the effectiveness of DQR and demonstrate that it outperforms a kernel-based method for nonparametric quantile regression.

연구 동기 및 목표

• 목표 조건부 분위수 함수가 조합 구조를 가진다는 가정 하에 비모수적 분위수 회귀에서 차원의 귀환 문제를 해결하기 위해.
• 기본 예측 변수의 차원이 아닌 함수의 내재 차원에 적응하는 딥 신경망 기반 추정기(DQR)를 개발하기 위해.
• 네트워크 깊이, 너비 및 내재 차원에 명시적인 의존성을 가지는 DQR에 대한 비점근적 오차 경계를 수립하기 위해.
• 비선형 설정에서 커널 기반 방법과 전통적인 선형 분위수 회귀보다 DQR이 우수한 성능을 보임을 보여주기 위해.

제안 방법

• 효율적 차원을 감소시키기 위해 조건부 분위수 함수를 저차원 함수의 복합체로 모델링하기 위해.
• 복합 분위수 함수를 근사하기 위해 딥 신경망을 사용하여 조합 구조에 대한 근사 능력을 활용하기 위해.
• 신경망이 복합 함수의 근사 오차를 분석하여 오차율이 구성 요소 함수의 차원에만 의존함을 보여주기 위해.
• DQR에 대한 비점근적 초과 위험 및 평균 제곱 오차 경계를 유도하며, 계수 항은 기저 차원 d에 대해 다항식 의존성을 가지기 위해.
• 특정 모델에 일반 오차 경계를 적용하기 위해: 단일 인덱스, 가감형, 투영 풍미, 단변량 복합형, 일반화된 계층적 상호작용 모델.
• 오차 경계의 계수 항을 d에 대해 선형 또는 이차적으로 명시적으로 기술하여, 고전적 비모수적 방법에서 관찰되는 지수적 의존성을 피하기 위해.

실험 결과

연구 질문

• RQ1 딥 신경망은 저차원 함수의 복합체로 이루어진 조건부 분위수 함수를 효과적으로 근사할 수 있는가?
• RQ2 진짜 분위수 함수가 조합 구조를 가졌을 때 딥 분위수 회귀 추정기는 최적의 수렴 속도를 달성하는가?
• RQ3 DQR의 오차 경계는 네트워크 아키텍처(깊이, 너비)와 조합 구조의 내재 차원에 어떻게 의존하는가?
• RQ4 고전적 비모수적 분위수 회귀 방법에 비해 DQR은 차원의 귀환 문제를 상당히 줄일 수 있는가?
• RQ5 조합 구조 가정 하에 잘 알려진 반모수적 모델에 대해 오차 경계의 계수 항의 명시적 형태는 무엇인가?

주요 결과

• DQR 추정기는 로그 인자까지 비모수적 최적 수렴 속도를 달성하며, 이 속도는 기저 차원이 아닌 조합 구조의 내재 차원에 의해 결정된다.
• 딥 신경망이 복합 함수를 근사할 때의 오차는 전체 입력 차원이 아닌 구성 요소 함수의 차원에만 의존한다.
• DQR의 오차 경계는 기저 차원 d에 대해 선형 또는 이차적으로 의존하는 계수 항을 가지며, 고전적 방법에서 관찰되는 지수적 의존성을 피한다.
• 수치 실험에서 DQR은 비선형 분위수 함수를 피팅하는 데 있어 커널 기반 비모수적 분위수 회귀와 선형 분위수 회귀보다 뛰어난 성능을 보였다.
• 단일 인덱스, 가감형, 투영 풍미, 단변량 복합형, 일반화된 계층적 상호작용 모델에 대해 다섯 가지 중요한 모델에 대해 명시적 오차 경계를 도출하였으며, 이는 d에 대해 다항식 의존성을 보였다.
• 결과적으로 딥 신경망이 조합 구조 가정 하에 비모수적 분위수 회귀에서 차원의 귀환 문제를 효과적으로 완화할 수 있음을 보여주었다.