[논문 리뷰] A Computational Framework for Multivariate Convex Regression and Its Variants

Rahul Mazumder, Arkopal Choudhury외 2명|arXiv (Cornell University)|2015. 09. 28.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 8

한 줄 요약

이 논문은 O(n²)의 제약 조건으로 인해 기존에 비산성인 다변량 볼록 회귀의 비모수적 최소제곱추정량(Least Squares Estimator, LSE)을 효율적으로 계산하기 위해 보완 라그랑주 방법과 1차 최적화 기반의 확장 가능한 계산 프레임워크를 제안한다. 이 방법은 큰 n(약 n ≈ 5000)에 대해서도 계산이 가능하게 하며, 공식적인 오차 한계를 갖는 부드러운 볼록 근사값을 제공하고, 리프시츠 제약 조건과 단조성 볼록 회귀와 같은 변형들로 자연스럽게 확장 가능하다. 이는 증명 가능한 수렴 속도를 갖는다.

ABSTRACT

We study the nonparametric least squares estimator (LSE) of a multivariate convex regression function. The LSE, given as the solution to a quadratic program with <i>O</i>(<i>n</i>²) linear constraints (<i>n</i> being the sample size), is difficult to compute for large problems. Exploiting problem specific structure, we propose a scalable algorithmic framework based on the augmented Lagrangian method to compute the LSE. We develop a novel approach to obtain smooth convex approximations to the fitted (piecewise affine) convex LSE and provide formal bounds on the quality of approximation. When the number of samples is not too large compared to the dimension of the predictor, we propose a regularization scheme—Lipschitz convex regression—where we constrain the norm of the subgradients, and study the rates of convergence of the obtained LSE. Our algorithmic framework is simple and flexible and can be easily adapted to handle variants: estimation of a nondecreasing/nonincreasing convex/concave (with or without a Lipschitz bound) function. We perform numerical studies illustrating the scalability of the proposed algorithm—on some instances our proposal leads to more than a 10,000-fold improvement in runtime when compared to off-the-shelf interior point solvers for problems with <i>n</i> = 500.

연구 동기 및 목표

• 표준 QP 설정에서 O(n²)의 제약 조건으로 인해 다변량 볼록 회귀 LSE의 계산 비가역성 문제를 해결하기 위해.
• 문제의 구조적 특성을 활용하여 효율적인 볼록 LSE 계산을 위한 확장 가능한 1차 최적화 프레임워크를 개발하기 위해.
• 조각별 애프린 함수 LSE에 대한 부드러운 볼록 근사값을 제공하고, 근사 오차에 대한 공식적인 오차 한계를 도출하기 위해.
• 리프시츠 제약 조건, 단조성, 그리고 볼록/볼록-내림차순 회귀와 같은 변형들에 대해 이 프레임워크를 확장하고 이론적인 수렴 속도를 확보하기 위해.
• 실제 및 시뮬레이션 데이터를 대상으로 대규모 문제에서의 확장성과 강건성을 수치적 연구를 통해 입증하기 위해.

제안 방법

• 함수 값과 하위미분에 대한 O(n²)의 선형 제약 조건을 갖는 정수형 프로그래밍(QP)으로 다변량 볼록 회귀를 수식화한다.
• 보완 라그랑주 방법을 활용하여 QP를 해석 가능한 부분문제로 분해함으로써 확장 가능한 1차 최적화를 가능하게 한다.
• 스parser와 제약 행렬의 구조를 활용하여, 네스테로프 스타일의 빠른 경사 하강법을 사용해 이중 부분문제를 효율적으로 해결한다.
• 조정 매개수 τ를 갖는 정규화된 이중 문제를 푸름으로써 조각별 애프린 함수 LSE에 대한 부드러운 볼록 근사값을 유도한다.
• 하위미분 노름에 대한 제약 조건을 도입하여 리프시츠 볼록 회귀의 변형을 제안함으로써 더 나은 통계적 수렴 속도를 달성한다.
• 하위미분에 대한 추가 선형 제약 조건을 통해 단조성 제약(비감소/비증가)을 처리하기 위해 프레임워크를 적응시킨다.

실험 결과

연구 질문

• RQ1 내부점 방법이 실패하는 대규모 문제(n > 300)에서 비모수적 볼록 LSE를 효율적으로 계산할 수 있는가?
• RQ2 조각별 애프린 함수 LSE에 대한 부드러운 볼록 근사값의 품질은 어떠한가? 그리고 근사 오차에 대한 공식적인 오차 한계를 도출할 수 있는가?
• RQ3 리프시츠 제약 조건 하에서 LSE의 수렴 속도는 어떻게 되며, 고차원 설정에서 최적의 수렴 속도는 무엇인가?
• RQ4 알고리즘 프레임워크는 확장성 손실 없이 단조성 제약(예: 비감소 볼록 함수)을 처리하기 위해 확장 가능한가?
• RQ5 실제 및 시뮬레이션 데이터에서 제안된 방법의 경험적 확장성은 상용 솔버와 비교해 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 n ≈ 5000에 대해 중간 정도의 정확도로 다변량 볼록 LSE를 계산할 수 있으며, 상용 내부점 솔버의 확장성 한계를 크게 초월한다.
• 이중 정규화 기법을 통해 LSE에 대한 부드러운 볼록 근사값이 도출되었으며, 조정 매개수 τ에 대해 근사 오차는 O(τ)로 한정된다.
• 리프시츠 제약 조건 하에서 LSE는 d차원 예측 변수에 대해 최소최대 최적 수렴 속도 r_n = O(n^{-2/(d+4)})를 달성한다.
• 알고리즘은 단조성 볼록/볼록-내림차순 회귀와 같은 변형들에 대해서도 확장성과 수렴성을 유지하며, 일致성과 수렴에 대한 이론적 보장을 갖는다.
• 수치적 연구를 통해 다양한 예제, 특히 고차원 및 대용량 설정에서 방법의 효율성과 강건성을 확인하였다.
• 프레임워크는 기저 알고리즘 아키텍처를 변경하지 않고도 경계가 있는 하위미분 또는 단조성과 같은 추가 제약 조건에 쉽게 적응 가능하며 유연하다.