[논문 리뷰] Multivariate Distributionally Robust Convex Regression under Absolute Error Loss

José Blanchet, Peter W. Glynn외 2명|arXiv (Cornell University)|2019. 05. 29.

Statistical Methods and Inference참고 문헌 24인용 수 10

한 줄 요약

이 논문은 경험 측도의 워샤프스키 변형에 대해 가장 나쁜 경우 절대 오차를 최소화하는 분포로 내성적인 볼록 회귀 추정기인 DRCR를 제안한다. 이는 기존의 제약 조건 없이도 해석 가능한 선형 프로그램으로 구현되며, 새로운 기울기 기반 정규화를 제공한다. 이 방법은 복잡도가 높지 않은 조건에서도 $ olimits ilde{O}(n^{-1/d})$ 수렴 속도를 달성하며, 합성 및 실제 데이터 실험에서 기존의 추정기들을 능가한다.

ABSTRACT

This paper proposes a novel non-parametric multidimensional convex regression estimator which is designed to be robust to adversarial perturbations in the empirical measure. We minimize over convex functions the maximum (over Wasserstein perturbations of the empirical measure) of the absolute regression errors. The inner maximization is solved in closed form resulting in a regularization penalty involves the norm of the gradient. We show consistency of our estimator and a rate of convergence of order $ \widetilde{O}\left( n^{-1/d} ight) $, matching the bounds of alternative estimators based on square-loss minimization. Contrary to all of the existing results, our convergence rates hold without imposing compactness on the underlying domain and with no a priori bounds on the underlying convex function or its gradient norm.

연구 동기 및 목표

• 경험 측도에 대한 적대적 편향에 강건한 비모수적 볼록 회귀 추정기를 개발한다.
• 제곱 오차 손실 대신 절대 오차 손실을 최소화하여 이상치에 대한 민감도를 감소시킨다.
• 기본 도메인의 컴act성 가정이나 볼록 함수 또는 그 기울기 노름에 대한 사전 경계가 필요 없도록 한다.
• 제한적인 가정 없이 기존의 제곱 오차 기반 추정기들과 동등한 수렴 속도를 확립한다.
• 최소 제곱법 및 커널 기반 볼록 회귀 추정기들에 비해 실증적으로 뛰어난 성능을 보임을 입증한다.

제안 방법

• 경험 측도를 중심으로 하는 워샤프스키 볼의 위험을 최소화하는 분포로 내성적인 최적화 문제를 수립한다.
• 응답 변수가 아닌 예측 변수만을 변형하는 워샤프스키 거리 측도를 사용하여 응답의 측정 오차를 반영한다.
• 내부 최대화 문제를 닫힌 형태로 해결하여 추정 함수의 기울기의 $L^1$-노름에 비례하는 정규화 페널티를 도출한다.
• 제곱 오차 대신 절대 오차의 구조를 고려해 표준 2차 프로그램 대신 계산적으로 해석 가능한 선형 프로그램으로 대체한다.
• 일致성과 최적 수렴 속도를 확보하기 위해 데이터 기반의 불확실성 반경 $ olimits\delta_n$ 을 선택한다.
• 경량 꼬리 및 무거운 꼬리 공변량을 가진 합성 데이터와 실제 환경 오염 배출 데이터 세트에 모두 적용한다.

실험 결과

연구 질문

• RQ1 경험 측도에 대한 적대적 편향에 강건한 볼록 회귀 추정기를 개발할 수 있는가? 이때 도메인이 컴팩트할 필요는 없는가?
• RQ2 절대 오차 손실을 최소화하는 것이 제곱 오차 최소화에 비해 더 강건하고 빠른 수렴 속도를 제공하는가?
• RQ3 함수 또는 그 기울기 노름에 대한 사전 경계 없이도 $ olimits ilde{O}(n^{-1/d})$ 수렴 속도를 달성할 수 있는가?
• RQ4 제안된 추정기는 최소 제곱법 및 커널 기반 볼록 회귀 방법과 비교해 실증적으로 어떻게 성능이 뛰어나게 되는가?
• RQ5 무거운 꼬리 공변량과 실제 응용 상황에서도 이 방법은 강력한 성능을 유지할 수 있는가?

주요 결과

• 제안된 분포로 내성적인 볼록 회귀 추정기(DRCR)는 $ olimits ilde{O}(n^{-1/d})$ 수렴 속도를 달성하며, 제곱 오차 기반 추정기 중 가장 좋은 수렴 속도와 동일하다.
• 이 방법은 기초 볼록 함수나 그 기울기 노름에 대한 사전 경계가 필요 없으며, 도메인이 컴팩트할 필요가 없다.
• 경량 꼬리 및 무거운 꼬리 공변량을 가진 합성 실험에서, DRCR은 $l_1$ 및 $l_2$ 오차 모두에서 최소 제곱법 및 커널 기반 추정기보다 뛰어난 성능을 보였다.
• 최소 제곱법의 성능은 리프시츠 상수 $c$의 선택에 매우 민감한 반면, 제안된 방법은 이러한 튜닝에 대해 강건하였다.
• 실제 환경 오염 배출 데이터 세트에서 DRCR 추정기는 최소 제곱법(0.1516)과 선형 회귀(0.1692)보다 낮은 평균 테스트 $l_1$ 오차(0.1294)를 달성하였다.
• 실증 결과는 DRCR 수식에서의 기울기 기반 정규화가 방법의 강건성과 성능에 핵심적인 역할을 한다는 것을 확인시켰다.