[논문 리뷰] Nonparametric Least Squares Estimation of a Multivariate Convex Regression Function

Emilio Seijo, Bodhisattva Sen|arXiv (Cornell University)|2010. 03. 24.

Advanced Statistical Methods and Models참고 문헌 32인용 수 7

한 줄 요약

이 논문은 다변량 볼록 회귀 함수에 대한 비모수적 최소제곱 추정기법을 제안하며, 이는 이차 및 선형 프로그래밍을 사용하여 고정 설계 및 확률적 설계 설정에서 온건한 정규성 조건 하에 일致성을 확립한다. 주요 기여는 다차원 설정에서 볼록 회귀 함수와 그 부분도함수를 일관되게 추정할 수 있는 계산적으로 실현 가능한, 튜닝이 없는 방법을 제공한다는 것이다.

ABSTRACT

This paper deals with the consistency of the least squares estimator of a convex regression function when the predictor is multidimensional. We characterize and discuss the computation of such an estimator via the solution of certain quadratic and linear programs. Mild sufficient conditions for the consistency of this estimator and its subdifferentials in fixed and stochastic design regression settings are provided. We also consider a regression function which is known to be convex and componentwise nonincreasing and discuss the characterization, computation and consistency of its least squares estimator.

연구 동기 및 목표

• . 다변량 볼록 회귀 함수의 비모수적 추정을 위한 체계적인 방법이 부족한 문제를 다루고자 한다.
• 다차원 예측 변수 공간에서 볼록 회귀의 최소제곱 추정기를 특성화하고 계산하고자 한다.
• 온건한 정규성 조건 하에 추정기와 그 부분도함수의 일치성을 증명하고자 한다.
• 자연스러운 순서 구조가 없는 다차원 경우로 기존의 일변량 볼록 회귀 이론을 확장하고자 한다.
• 커널 기반 또는 페널티 기반 방법에 비해 어려운 밴드위드스택 선택이 필요한 것을 피할 수 있는 튜닝이 없는 대안을 제공하고자 한다.

제안 방법

• . 최소제곱 추정기는 관측된 예측 변수들의 볼록포함집합 위에서 경험적 L2 손실를 최소화하는 볼록 함수로 정의된다.
• 추정기는 볼록성 제약 조건을 선형 부등식으로 활용하여 이차 프로그래밍을 풀어 계산된다.
• 점별 평가에서는 선형 프로그래밍을 통해 수행되어 특정 설계 점에서의 효율적 계산이 가능해진다.
• 볼록 함수의 부분도함수 특성화를 활용하며, 순환 단조성과 이阶 조건에 기반한다.
• 기하학적 성질과 볼록포함집합의 극점들을 이용하여 이론적 일치성을 확립한다.
• 튜닝 파rameter를 회피하여 일반적으로 비모수 회귀에서 사용되는 커널 또는 스퍼인 기반 대안들과 구별된다.

실험 결과

연구 질문

• RQ1 . 다변량 볼록 회귀 함수의 최소제곱 추정기는 다차원 예측 변수를 가진 비모수적 설정에서 일관되게 추정될 수 있는가?
• RQ2 . 고차원 설정에서 추정기와 그 부분도함수는 어떻게 효율적으로 계산할 수 있는가?
• RQ3 . 고정 설계 및 확률적 설계 회귀 모델에서 최소제곱 추정기의 일관성을 보장하는 정규성 조건은 무엇인가?
• RQ4 . 제안된 방법은 계산 가능성과 튜닝 요구 사항 측면에서 기존 접근법과 어떻게 비교되는가?
• RQ5 . 최소제곱 추정기는 이차 및 선형 프로그래밍과 같은 볼록 최적화 기법을 사용하여 특성화되고 계산될 수 있는가?

주요 결과

• . 다변량 볼록 회귀 함수의 최소제곱 추정기는 고정 설계 및 확률적 설계 설정 모두에서 온건한 정규성 조건 하에 일관성 있다.
• . 추정기는 볼록 이차 프로그래밍을 풀어 계산할 수 있으며, 점별 평가는 선형 프로그래밍을 통해 달성할 수 있다.
• . 동일한 조건 하에 추정기의 부분도함수도 일관되게 추정된다.
• . 이 방법은 튜닝이 없어 커널 기반 비모수적 방법에서 요구하는 복잡한 밴드위드스택 선택을 피할 수 있다.
• . 볼록포함집합의 기하학적 구조와 극점들이 일치성 증명과 계산 가능성을 위한 핵심 역할을 한다.
• . 이 접근법은 자연스러운 순서가 없는 고차원에서 일변량 볼록 회귀 이론을 일반화한다.