[논문 리뷰] Non-parametric Quantile Regression via the K-NN Fused Lasso

Steven Siwei Ye, Oscar Hernán Madrid Padilla|arXiv (Cornell University)|2020. 12. 03.

Statistical Methods and Inference참고 문헌 38인용 수 9

한 줄 요약

이 논문은 고차원 데이터에서 조건부 분위수를 추정하기 위해 K-NN 융합 라소를 사용하는 비모수적 분위수 회귀 방법을 제안한다. K-최근접 이웃 그래프 구조와 융합 라소 페널티를 결합함으로써, 무거운 尾비율 오차가 존재하는 상황에서도 $ n^{-1/d} $ 수준의 거의 최소최대 수렴 속도를 달성하며, 시뮬레이션 및 실질 데이터에서 뛰어난 경험적 성능을 보인다.

ABSTRACT

Quantile regression is a statistical method for estimating conditional quantiles of a response variable. In addition, for mean estimation, it is well known that quantile regression is more robust to outliers than $l_2$-based methods. By using the fused lasso penalty over a $K$-nearest neighbors graph, we propose an adaptive quantile estimator in a non-parametric setup. We show that the estimator attains optimal rate of $n^{-1/d}$ up to a logarithmic factor, under mild assumptions on the data generation mechanism of the $d$-dimensional data. We develop algorithms to compute the estimator and discuss methodology for model selection. Numerical experiments on simulated and real data demonstrate clear advantages of the proposed estimator over state of the art methods.

연구 동기 및 목표

• 다변량 데이터의 국소적 구조에 적응하는 강건한 비모수적 분위수 회귀 추정기를 개발하기 위해.
• K-최근접 이웃 그래프를 통해 국소적 이웃 구조를 통합함으로써 기존 방법의 한계를 해결하기 위해.
• 일반적인 오차 분포, 특히 무거운 尾비율 분포를 포함한 상황에서도 이론적 수렴 속도를 확립하기 위해.
• 기본 함수에 대한 사전 지식 없이도 조각별 선형 또는 다항식 신호 구조에 적응할 수 있는 방법을 제공하기 위해.
• 계산 가능하고 모델 선택에 적합한 알고리즘을 제공하며, 공개된 코드를 함께 제공하기 위해.

제안 방법

• 예측 변수 공간에 대해 K-최근접 이웃(K-NN) 그래프를 구축하여 국소 기하학적 구조를 인코딩하기 위해.
• 분위수 회귀 문제를 제약 조건이 있는 최적화 문제로 설정: 비대칭 손실 함수에 K-NN 그래프 위의 융합 라소 페널티를 더함.
• K-NN 그래프의 방향성 인cidience 행렬 $ \nabla_G $ 를 사용하여 총 변동성 페널티 $ \|\nabla_G \theta\|_1 $ 를 정의함으로써, 조각별 상수 또는 선형 추정치를 촉진하기 위해.
• 최근의 분위수 트렌드 필터링 및 K-NN 융합 라소 이론적 발전을 활용하여 수렴 보장을 도출하기 위해.
• 추정 오차를 측정하기 위해 허버 유사 손실 함수 $ \Delta_n^2(\delta) $ 를 적용하여 강건성과 효율성의 균형을 이루기 위해.
• 경험 과정 이론과 대칭화 기법을 사용하여 경험 손실과 진짜 손실 간의 편차를 제어함으로써 고확률 경계를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 K-NN 융합 라소 추정기는 일반적인 오차 분포 하에서 비모수적 분위수 회귀에서 최적의 비모수적 수렴 속도를 달성할 수 있는가?
• RQ2 기존의 파라미터적 가정이 실패하는 고차원 설정에서 제안된 방법은 어떻게 성능을 발휘하는가?
• RQ3 K-NN를 통한 국소적 이웃 구조 통합이 전반적인 스무딩 방법에 비해 추정 정확도를 얼마나 향상시키는가?
• RQ4 빠른 수렴 속도를 달성하면서도 무거운 尾비율 오차에 대해 강건성을 유지하는가?
• RQ5 진짜 신호의 조각별 다항식 구조에 대한 추정기의 적응성에 대한 이론적 근거는 무엇인가?

주요 결과

• 제안된 K-NN 융합 라소 분위수 추정기는 $ n^{-1/d} $ 수준의 수렴 속도를 로그 인자까지 포함해 달성하며, 비모수적 분위수 회귀에서 거의 최소최대 속도와 일치한다.
• 이전 방법이 서브-가우시안 또는 서브-지수 꼬리 조건을 요구하는 것과 달리, 일반적인 오차 분포, 특히 무거운 꼬리 분포 하에서도 최적의 수렴 속도를 유지한다.
• 이론적 분석은 진짜 신호의 유한한 변동성에만 의존하므로, 매우 일반적인 모델에 적용 가능하다.
• 시뮬레이션 및 실질 데이터에 대한 수치 실험 결과, 최신 기법들에 비해 추정 정확도와 강건성 측면에서 뚜렷한 우수성을 보였다.
• 구조화된 데이터에서의 성능을 통해 기저 회귀 함수의 조각별 선형 또는 다항식 구조에 잘 적응함을 입증하였다.
• 모든 알고리즘과 데이터셋은 GitHub에 공개되어 있어 재현성과 향후 방법론적 발전을 가능하게 한다.