[논문 리뷰] Linear programming problems for frontier estimation

Guillaume Bouchard, Stéphane Girard외 2명|arXiv (Cornell University)|2011. 03. 30.

Advanced Statistical Methods and Models인용 수 6

한 줄 요약

이 논문은 선형 프로그래밍을 통해 커널 스무딩을 이용한 새로운 프론티어 추정 방법을 제안한다. 이 방법은 모든 표본 점을 포함하면서도 지지 영역을 최소화한다. 이 방법은 거의 확실한 $L_1$ 수렴을 보이며 수렴 속도는 $O(\sqrt{\log N / (Nh)})$이다. 해는 희소하며, 몇 개의 비영 coefficients만이 지지 벡터로 작용한다.

ABSTRACT

We propose new estimates for the frontier of a set of points. They are defined as kernel estimates covering all the points and whose associated support is of smallest surface. The estimates are written as linear combinatio- ns of kernel functions applied to the points of the sample. The coefficients of the linear combination are then computed by solving a linear programming problem. In the general case, the solution of the optimizat- ion problem is sparse, that is, only a few coefficients are non zero. The corresponding points play the role of support vectors in the statistical learning theory. The L_1 error between the estimated and the true frontiers is shown to be almost surely converging to zero, and the rate of convergence is provided. The behaviour of the estimates on finite sample situations is illustrated on some simulations.

연구 동기 및 목표

• 모든 관측된 데이터 포인트를 포함하면서도 추정된 지지 영역의 면적을 최소화하는 새로운 비모수적 프론티어 추정기를 개발한다.
• 일반 조건 하에서 $L_1$ 노름에서 추정기의 이론적 일致성을 확립한다.
• 프론티어 추정 문제를 희소 최적화와 연결하여 통계학적 학습 이론에서 서포트 벡터 기반 기반의 기법과 유사성을 부각한다.
• 추정된 프론티어와 진짜 프론티어 사이의 $L_1$ 오차에 대한 거의 확실한 수렴 속도를 제공한다.
• 시뮬레이션과 기존 방법들과의 비교를 통해 방법의 유한 표본 성능을 시연한다.

제안 방법

• 프론티어 추정은 표본 점들 중심의 커널 함수들의 선형 조합으로 정의된다: $\tilde{f}_N(x) = \sum_{i=1}^N \alpha_i K_h(x - X_i)$, 여기서 $K_h(\cdot)$는 대역폭 $h$를 가진 커널 함수이다.
• 계수 $\alpha_i$는 총 질량 $\sum \alpha_i$ 를 최소화하는 선형 프로그래밍 문제를 풀어 계산되며, 모든 $x$와 모든 표본 점이 포함되는 조건 $\sum \alpha_i K_h(x - X_i) \geq f(x)$ 를 만족시킨다.
• 최적화 문제로 인해 희소성이 보장된다: 비영인 $\alpha_i$의 수가 매우 적으며, 이는 프론티어를 정의하는 지지 벡터에 해당한다.
• 이 방법은 강한 대수법칙과 베르누이 타입 부등식을 활용하여 경험적 커널 합의 기대값에서의 편차를 통제한다.
• 이론적 분석은 농도 불등식과 커널 및 추정기의 리프시츠 연속성을 이용하여 수렴 속도를 유도한다.
• 이 방법은 임의의 입력 집합 $E$와 지지 집합 $S = \{(x,y): x \in E, 0 \leq y \leq f(x)\}$로 일반화 가능하며, $[0,1] \times [0,f(x)]$에 국한되지 않는다.

실험 결과

연구 질문

• RQ1 표본 점들을 모두 포함하면서도 추정된 지지 영역의 면적을 최소화하는 프론티어 추정기를 구성할 수 있는가?
• RQ2 추정된 프론티어와 진짜 프론티어 사이의 $L_1$ 오차에 대한 거의 확실한 수렴 속도는 무엇인가?
• RQ3 해의 희소성(비영 계수의 수)은 추정기의 성능과 해석에 어떤 영향을 미치는가?
• RQ4 프론티어 함수 $f$에 대해 약한 정규성 가정 하에서도 추정기가 일치하는 것으로 보일 수 있는가?
• RQ5 DEA나 커널 기반 스무딩과 같은 기존 방법들과 비교해 수렴성과 유한 표본 행동에서 이 방법은 어떻게 다른가?

주요 결과

• 추정된 프론티어 $\tilde{f}_N$ 과 진짜 프론티어 $f$ 사이의 $L_1$ 오차는 거의 확실하게 0으로 수렴하며, 수렴 속도는 $O(\sqrt{\log N / (Nh)})$이다.
• 선형 프로그래밍 문제의 해는 희소하다: 비영인 계수 $\alpha_i$의 수는 매우 적으며, 비영 계수의 수는 $N$에 대해 최대 로그 크기로 증가한다.
• 추정기는 균일 일치성을 보인다: 거의 모든 $\omega$에 대해, 모든 $x \in (0,1)$ 과 충분히 큰 모든 $N$ 에 대해 $\tilde{f}_N(x) \geq f(x) - O(\sqrt{\log N / (Nh)})$ 가 성립한다.
• 추정기의 리프시츠 상수는 $O(1/h)$로 유계이며, 이는 대역폭 $h$와 커널 성질에 의해 제어되는 부드러움을 보장한다.
• 이론적 경계는 경험적 커널 합에 적용된 베르누이 부등식에 기반하며, 커널의 유계 변동성과 모멘트 조건을 통해 농도를 통제한다.
• 커널이 리프시츠 유사 조건 $|K'(t)| \leq \mu K(t)$ 를 만족하면, 이는 도함수의 증가가 커널 값에 비례하여 제한됨을 보장하므로, 커널의 선택에 대해 이 방법은 강건하다.