[논문 리뷰] A new asymmetric $\epsilon$-insensitive pinball loss function based support vector quantile regression model

Pritam Anand, Reshma Rastogi외 1명|arXiv (Cornell University)|2019. 08. 19.

Statistical Methods and Inference참고 문헌 11인용 수 4

한 줄 요약

이 논문은 지지벡터분위수회귀(SVQR)를 위한 비대칭 ϵ-감도 없는 핀발 보상 함수를 제안하며, 고정 너비이자 τ에 의존하는 비대칭 ϵ-감도 없는 영역을 가능하게 하여 희소성과 예측 정확도를 향상시킨다. 결과적으로 얻어진 ϵ-SVQR 모델은 인공적 및 실제 UCI 데이터셋에서 일반화 능력과 희소성 측면에서 기존의 SVQR 방법들을 능가한다.

ABSTRACT

In this paper, we propose a novel asymmetric $\epsilon$-insensitive pinball loss function for quantile estimation. There exists some pinball loss functions which attempt to incorporate the $\epsilon$-insensitive zone approach in it but, they fail to extend the $\epsilon$-insensitive approach for quantile estimation in true sense. The proposed asymmetric $\epsilon$-insensitive pinball loss function can make an asymmetric $\epsilon$- insensitive zone of fixed width around the data and divide it using $ au$ value for the estimation of the $ au$th quantile. The use of the proposed asymmetric $\epsilon$-insensitive pinball loss function in Support Vector Quantile Regression (SVQR) model improves its prediction ability significantly. It also brings the sparsity back in SVQR model. Further, the numerical results obtained by several experiments carried on artificial and real world datasets empirically show the efficacy of the proposed `$\epsilon$-Support Vector Quantile Regression' ($\epsilon$-SVQR) model over other existing SVQR models.

연구 동기 및 목표

• 기존 SVQR 모델들이 진정으로 ϵ-감도 없는 영역을 통합하지 못해 희소성과 일반화 능력을 확보하지 못하는 문제를 해결한다.
• 이전의 비대칭 ϵ-감도 없는 핀발 보상 함수에서의 대칭 ϵ-튜브와 가변 너비 영역의 한계를 극복한다.
• 정확한 분위수 추정을 위해 고정 너비이자 τ에 의존하는 비대칭 ϵ-감도 없는 영역을 가능하게 하는 보상 함수를 개발한다.
• 원칙적인 볼록 최적화 프레임워크 내에서 ϵ-감도 없는 접근을 통합함으로써 SVQR의 일반화 능력과 희소성을 향상시킨다.
• 인공적 및 실제 데이터셋에서의 광범위한 실험을 통해 제안된 ϵ-SVQR 모델의 유효성을 입증한다.

제안 방법

• 분위수 수준 τ를 사용하여 고정 너비 ϵ-영역을 분할하는 새로운 비대칭 ϵ-감도 없는 핀발 보상 함수를 제안한다.
• 이 보상 함수를 SVQR 프레임워크에 통합하여 볼록성을 보장하고, 이차계획법을 통해 효율적인 최적화를 가능하게 한다.
• 신규 보상 함수와 정규화 항을 최소화하는 제약 조건을 갖는 최적화 문제로 ϵ-SVQR 모델을 수립한다.
• 구조적 리스크 최소화 원칙을 적용하여 양호한 일반화 성능을 확보한다.
• 예측 분위수 함수를 중심으로 비대칭인 ϵ-감도 없는 영역을 확보하며, 너비는 τ가 아닌 데이터 분산에 의해 결정된다.
• 표준 SVM 솔버를 사용해 모델을 구현하고, ϵ-감도 없는 영역에서 유도되는 희소성으로 지지벡터 수를 감소시킨다.

실험 결과

연구 질문

• RQ1 분위수 회귀에 대해 진정으로 비대칭인 ϵ-감도 없는 영역을 고정 너비로 유지하면서 τ에 의존하게 구성할 수 있는가?
• RQ2 SVQR에 ϵ-감도 없는 영역을 통합하면 기존의 표준 SVQR 대비 모델의 희소성과 예측 정확도가 향상되는가?
• RQ3 제안된 보상 함수가 볼록적이며 효율적인 최적화에 적합할 수 있고, 경험 리스크를 감소시킬 수 있는가?
• RQ4 ϵ의 선택이 다양한 분위수와 데이터셋에서 ϵ-SVQR 모델의 성능과 희소성에 미치는 영향은 어떠한가?
• RQ5 다양한 실제 및 인공 데이터셋에서 ϵ-SVQR 모델이 기존의 SVQR 모델보다 더 잘 일반화되는가?

주요 결과

• 제안된 비대칭 ϵ-감도 없는 핀발 보상 함수는 볼록적이며, 이전의 대칭 또는 가변 너비 접근 방식과 달리 고정 너비이자 τ에 의존하는 비대칭 ϵ-영역을 보장한다.
• 표준 SVQR 대비 RMSE에서 뚜렷한 향상을 보였으며, 보스턴 주택 데이터셋에서 τ = 0.1일 때 최소 10.5%의 오차 감소를 기록했다.
• 서보 데이터셋에서는 표준 SVQR 대비 RMSE를 최대 12.5%까지 감소시켰으며, τ = 0.9일 때 희소성 수준이 21.17%에 도달했다.
• 트라이진 데이터셋에서 τ = 0.8일 때 최대 62.38%의 희소성 수준을 기록하여 강력한 지지벡터 감소 효과를 입증했다.
• 모든 테스트된 τ 값에서 표준 SVQR 및 스퍼스 SVQR 대비 예측 정확도와 희소성 측면에서 ϵ-SVQR 모델이 뛰어난 성능을 보였다.
• 최적의 ϵ 값은 반응 변수의 분산과 상관관계를 보였으며, 이는 데이터 기반의 선택 전략이 효과적임을 시사한다.