[논문 리뷰] Multivariate convex regression with adaptive partitioning

Lauren A. Hannah, David B. Dunson|arXiv (Cornell University)|2011. 05. 10.

Statistical Methods and Inference참고 문헌 64인용 수 10

한 줄 요약

이 논문은 계산적으로 효율적인 비모수적 다변량 볼록 회귀 방법인 Convex Adaptive Partitioning (CAP)을 소개한다. CAP는 적응형 분할과 조각별 선형 모델을 사용하여 볼록성을 강제한다. CAP는 계산 복잡도를 $\mathcal{O}(n\log(n)\log(\log(n)))$로 구현하여 표준 최소제곱 추정기의 $\mathcal{O}(n^3)$ 복잡도보다 뛰어나며, 고차원 문제인 미국형 옵션 가격 설정과 같은 상황에서 일致성과 뛰어난 경험적 성능을 유지한다.

ABSTRACT

We propose a new, nonparametric method for multivariate regression subject to convexity or concavity constraints on the response function. Convexity constraints are common in economics, statistics, operations research, financial engineering and optimization, but there is currently no multivariate method that is computationally feasible for more than a few hundred observations. We introduce Convex Adaptive Partitioning (CAP), which creates a globally convex regression model from locally linear estimates fit on adaptively selected covariate partitions. CAP is computationally efficient, in stark contrast to current methods. The most popular method, the least squares estimator, has a computational complexity of $\mathcal{O}(n^3)$. We show that CAP has a computational complexity of $\mathcal{O}(n \log(n)\log(\log(n)))$ and also give consistency results. CAP is applied to value function approximation for pricing American basket options with a large number of underlying assets.

연구 동기 및 목표

• 대규모 데이터셋과 고차원 문제에 스케일링 가능한 다변량 볼록 회귀를 위한 계산적으로 실현 가능한 방법을 개발하는 것.
• 수백 개의 관측치를 넘어서는 비모수적 방법에서 효율적이고 이론적으로 탄탄한 볼록 회귀 방법의 부족을 해결하는 것.
• 고차원 설정에서 정규화에 민감하거나 계산 비용이 높은 최소제곱법과 릿지 회귀와 같은 기존 방법의 강력한 대안을 제공하는 것.
• 금융공학, 운영 연구, 경제학 등 형상 제약 조건이 흔한 분야에서 볼록 회귀의 실용적 적용을 가능하게 하는 것.

제안 방법

• CAP는 설명 변수 공간의 적응형 분할 영역에서 국소적으로 피팅된 선형 모델의 점별 최댓값을 취하여 전역적으로 볼록인 회귀 함수를 구성한다.
• 알고리즘은 카디널 방향을 따라 분할을 적응적으로 개선하고, 데이터에 맞게 초평면을 재피팅함으로써 국소 근사도를 향상시킨다.
• 일반화된 교차검증 방법을 통해 모델 적합도와 복잡도의 균형을 이루는 최적의 분할 수 $K$를 선택한다.
• 볼록성을 강제하기 위해 하향 기울기 조건을 사용한다: $f_0(\mathbf{x}_1) \geq f_0(\mathbf{x}_2) + g_0(\mathbf{x}_2)^T(\mathbf{x}_1 - \mathbf{x}_2)$, 이는 추정된 함수가 모든 지지 초평면 위에 위치함을 보장한다.
• 빠른 근사 방법인 Fast CAP는 정지 기준을 수정하여 런타임을 줄이고 성능 손실를 최소화한다.
• 최종 추정기는 $\hat{f}_n(\mathbf{x}) = \max_{k=1}^K \alpha_k + \beta_k^T \mathbf{x}$로 정의되며, 조각별 선형이고 볼록인 함수를 형성한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋과 고차원 문제에 대해 효율적으로 스케일링 가능한 비모수적 볼록 회귀 방법을 개발할 수 있는가?
• RQ2 일致성과 형상 제약 조건을 유지하는 볼록 회귀 추정기의 계산 복잡도는 무엇인가?
• RQ3 고차원 데이터에서 예측 정확도와 런타임 측면에서 CAP가 최소제곱법, 릿지 회귀, 트리 기반 방법과 어떻게 비교되는가?
• RQ4 국소 선형 피팅을 사용한 적응형 분할이 일관성 있고 계산적으로 효율적인 볼록 회귀 추정을 가능하게 하는가?
• RQ5 성능 손실 없이 런타임을 줄일 수 있는 CAP의 빠른 근사 방법이 존재하는가?

주요 결과

• CAP는 계산 복잡도를 $\mathcal{O}(p(p+1)^2 n \log n \log \log n)$로 구현하여 최소제곱 추정기의 $\mathcal{O}((p+1)^3 n^3)$ 복잡도보다 극적으로 향상시켰다.
• CAP는 $\ell_\infty$ 거리 척도에 대해 일관성이 있으며, 표본 크기가 증가함에 따라 진짜 볼록 함수로 수렴함을 보장한다.
• 미국형 바스켓 옵션 가격 설정 문제에서 CAP와 Fast CAP가 가장 낮은 하한을 달성했으며, 15개 자산 문제에서 12.7%의 이중성 갭을 기록했고, 20개 자산 문제에선 8.4%를 기록했다.
• Fast CAP는 표준 CAP 대비 런타임을 한 단계 감소시켰고, 대규모 문제에서 비정규화된 최소제곱법과 유사한 런타임을 기록했다.
• 최소제곱법과 릿지 회귀는 자산 수가 증가함에 따라 과적합과 높은 계산 비용을 겪었고, 트리 회귀는 비대칭 오차 분포로 인해 성능이 열악했다.
• CAP와 Fast CAP는 모든 테스트 설정에서 안정적이고 뛰어난 성능을 유지하여 이질적 분산과 비대칭 오차에 대한 강건성을 입증했다.