[논문 리뷰] Efficient algorithms for multivariate shape-constrained convex regression problems

Meixia Lin, Defeng Sun외 1명|arXiv (Cornell University)|2020. 02. 26.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 다변량 형상 제약 조건을 갖는 볼록 회귀에 대한 효율적인 알고리즘을 제안하며, 최소 제곱 추정량을 (n+1)d개의 변수와 n(n−1)개의 제약 조건을 갖는 대규모 볼록 2차 계획 문제로 공식화한다. 두 가지 솔버인 sGS-ADMM와 pALM(반탄성 뉴턴 하위 문제 포함)을 도입하여, 배지 옵션 가격 설정과 생산 함수 추정 분야에서 최신 기법들보다 뛰어난 성능을 보였다.

ABSTRACT

Shape-constrained convex regression problem deals with fitting a convex function to the observed data, where additional constraints are imposed, such as component-wise monotonicity and uniform Lipschitz continuity. This paper provides a comprehensive mechanism for computing the least squares estimator of a multivariate shape-constrained convex regression function in $\mathbb{R}^d$. We prove that the least squares estimator is computable via solving a constrained convex quadratic programming (QP) problem with $(n+1)d$ variables and at least $n(n-1)$ linear inequality constraints, where $n$ is the number of data points. For solving the generally very large-scale convex QP, we design two efficient algorithms, one is the symmetric Gauss-Seidel based alternating direction method of multipliers ({ t sGS-ADMM}), and the other is the proximal augmented Lagrangian method ({ t pALM}) with the subproblems solved by the semismooth Newton method ({ t SSN}). Comprehensive numerical experiments, including those in the pricing of basket options and estimation of production functions in economics, demonstrate that both of our proposed algorithms outperform the state-of-the-art algorithm. The { t pALM} is more efficient than the { t sGS-ADMM} but the latter has the advantage of being simpler to implement.

연구 동기 및 목표

• 단조성과 리프시츠 연속성 등의 형상 제약 조건을 갖는 대규모 다변량 볼록 회귀 문제를 해결하는 데 있어 계산적 과제를 해결한다.
• 이러한 제약 조건 하에서 볼록 함수의 최소 제곱 추정량을 위한 계산적으로 실현 가능한 프레임워크를 개발한다.
• 내부점 방법이 메모리 제약으로 인해 실패하는 대규모 데이터셋(n > 1000)과 중간 차원(d는 최대 80)을 다룰 수 있는 확장 가능한 알고리즘을 설계한다.
• 금융 공 ing 및 계량경제학 등 다양한 적용 분야에서 안정적인 성능을 보장하며, 옵션 가격 설정과 생산 함수 추정 등에 응용한다.
• 기존 방법들인 PAPG와 3블록 ADMM가 너무 느리거나 수렴 증명이 없는 대규모 문제에 대해 수렴 보장을 제공하고 실용적인 효율성을 확보한다.

제안 방법

• 형상 제약 조건을 갖는 볼록 회귀 문제를 (n+1)d개의 변수와 최소 n(n−1)개의 선형 부등식 제약 조건을 갖는 제약 조건이 있는 볼록 2차 계획 문제(QP)로 공식화하여 볼록성과 단조성을 확보한다.
• 대칭 가우스-세이델 기반 ADMM(sGS-ADMM)를 사용하여 QP를 해결하며, 블록 가우스-세이델 갱신을 활용해 수렴성과 안정성을 향상시킨다.
• 반복적 보정 증가 라그랑주 방법(pALM)에 반탄성 뉴턴(SSN) 하위 문제를 도입하여 수렴 속도를 가속화하고 효율성을 향상시킨다.
• 예비 조건화 및 온전한 시작 전략을 사용하여 두 알고리즘의 대규모 문제에 대한 성능을 향상시킨다.
• 성분별 단조성과 균일한 리프시츠 연속성 제약 조건을 지원하는 통합 프레임워크에 알고리즘을 통합한다.
• 금융 및 경제 분야의 실제 데이터셋에 알고리즘을 적용하여 수치 실험을 통해 확장성과 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 단조성과 리프시츠 연속성 등의 형상 제약 조건 하에서 다변량 볼록 회귀의 최소 제곱 추정량을 효율적으로 계산할 수 있는가?
• RQ2 제안된 sGS-ADMM와 pALM 알고리즘이 대규모 문제에서 수렴 속도, 메모리 사용량, 내구성 측면에서 어떻게 비교되는가?
• RQ3 내부점 방법이 실패하는 대규모 데이터셋(n > 1000, d > 10)을 다룰 수 있는가?
• RQ4 옵션 가격 설정과 생산 함수 추정과 같은 적용 분야에서 형상 제약 조건이 추정 정확도를 얼마나 향상시키는가?
• RQ5 pALM에 SSN 하위 문제를 도입한 알고리즘이 수렴 보장을 유지하면서도 sGS-ADMM보다 계산 시간 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 다변량 형상 제약 조건을 갖는 볼록 회귀의 최소 제곱 추정량은 (n+1)d개의 변수와 최소 n(n−1)개의 선형 제약 조건을 갖는 볼록 2차 계획 문제로 계산 가능하다.
• SSN 하위 문제를 갖는 pALM는 sGS-ADMM보다 빠르며, d=80, n=1600인 문제를 1분 이내에 해결하는 데 성공했고, PAPG는 17분이 소요되었다.
• sGS-ADMM 알고리즘은 구현이 간단하며, 중간 크기의 문제에서는 뛰어난 성능을 발휘한다.
• M=10인 바스켓 옵션 가격 설정에서, 형상 제약 모델(SC)은 600개의 데이터 포인트로 3분 52초 만에 MSE ≈ 1.49를 달성했으며, 비형상 제약 모델(UC)의 MSE ≈ 42.9에 비해 뚜렷한 우월성을 보였다.
• 평균 주급 데이터셋(n=857)의 경우, 형상 제약 모델은 1분 이내에 해결되었고, 경력과 변환된 교육 수준에 대해 오목 함수를 생성하였다.
• 칠레 플라스틱 산업의 생산 함수 추정(n=250)은 3초 내에 완료되었고, 벨기에 기업들(n=562)의 경우 22초 내에 완료되었으며, 모두 높은 정확도와 형상 일관성을 확보했다.