[논문 리뷰] Piecewise Convex Function Estimation and Model Selection

Kurt S. Riedel|arXiv (Cornell University)|2018. 03. 11.

Statistical Methods and Inference참고 문헌 4인용 수 3

한 줄 요약

이 논문은 노이즈가 있는 데이터로부터 조각별 볼록 함수를 추정하기 위한 이단계 방법을 제안한다. 이 함수는 볼록성 변화점이 소수임을 가정한다. 이는 볼록성 변화점(비틀림점)을 탐지하기 위해 피ilot 추정기를 사용하고, 모델 선택을 안내하기 위해 불확실성 구간을 구성하며, 점점 더 최적의 스무딩을 보장하면서 진정한 볼록성 구조와 일치하도록 제약을 가해서 기하학적 충실도를 확보한다.

ABSTRACT

Given noisy data, function estimation is considered when the unknown function is known apriori to consist of a small number of regions where the function is either convex or concave. When the regions are known apriori, the estimate is reduced to a finite dimensional convex optimization in the dual space. When the number of regions is unknown, the model selection problem is to determine the number of convexity change points. We use a pilot estimator based on the expected number of false inflection points.

연구 동기 및 목표

• 노이즈가 있는 데이터로부터 볼록성 변화점이 소수인 조각별 볼록 또는 오목 함수를 추정하기.
• 사전에 알려지지 않은 볼록성 변화점의 수와 위치를 결정하는 모델 선택 문제를 해결하기.
• 진짜 함수의 볼록성 변화점의 수와 위치와 일치하도록 피팅된 함수의 볼록성 변화점을 유지하여 기하학적 충실도를 보존하기.
• 모델 잘못 지정 오차를 최소화하면서 높은 확률로 올바른 볼록성 구조를 선택하는 데이터 기반 방법을 개발하기.
• 제약 조건이 부여된 회귀 프레임워크에서 일반화 교차검증을 사용하여 스무딩 파rameter를 선택함으로써 渐近적으로 최적의 수렴 속도를 달성하기.

제안 방법

• 함수의 ℓ번째 및 (ℓ+1)번째 도함수를 추정하기 위해 제약이 없는 스무딩 기반 피ilot 추정기를 사용한다.
• 점점 더 정규분포에 수렴하는 성질을 이용하여 추정된 비틀림점 주변에 불확실성 구간을 구성하며, 너비는 σ²‖κ⁽ℓ⁾‖²F′(s)/|f^(ℓ+1)(x̂j)|²nh²ℓ+1 비례한다.
• 이중 단계 추정: 첫째, 피ilot 추정을 통해 후보 변화점 탐지; 둘째, 탐지된 구조와 일치하는 닫힌 볼록 코너 내에서 제약 조건이 있는 회귀 수행.
• 중첩된 구간의 기수에 따라 f^(ℓ) 또는 f^(ℓ+1)가 각 불확실성 구간 내에서 음이 아닌지 또는 양이 아닌지 제약을 가한다.
• 부드러움과 일치도를 강제하기 위해 펜alties 기반 기능 VP[f] = (λ/p)∫|f^(m)|^p ds + ∑ψi(⟨hi,f⟩−yi)를 사용하며, 최소제곱법을 위해 p=2이다.
• 일반화 교차검증(GCV)을 통해 스무딩 파rameter를 선택하며, λn = λ_GCV 및 h_n = ι(n)h_GCV로 설정한다. 여기서 ι(n) = log²(n)n^(1/(2ℓ+3)−1/(2m+1))이다.

실험 결과

연구 질문

• RQ1 볼록성 변화점의 수와 위치가 사전에 알려지지 않은 경우, 이들 변화점이 소수인 함수를 어떻게 추정할 수 있는가?
• RQ2 추정치의 기하학적 충실도를 유지하기 위해 볼록성 변화점의 수와 위치를 최적으로 선택하는 방법은 무엇인가?
• RQ3 모델 선택을 통계적으로 타당하게 안내하기 위해 추정된 비틀림점 주변에 불확실성 구간을 어떻게 구성할 수 있는가?
• RQ4 제약 조건이 있는 추정기가 渐近적으로 최적의 수렴 속도를 달성하기 위한 조건은 무엇인가?
• RQ5 진짜 비틀림점 근처에서 과도하게 스무딩되지 않으면서도 임의의 비틀림점을 제거할 수 있는 방법은 무엇인가?

주요 결과

• 불확실성 구간 기반 모델 선택을 사용하는 이단계 추정기는 n → ∞ 일 때, 진짜 볼록성 구조를 정확히 식별할 확률이 1에 수렴한다. 즉, P(정확한 모델) → 1.
• 적절한 스무딩 파rameter 스케일링 하에 추정기의 점점 더 큰 평균 제곱오차는 E‖f̂−f‖²_j ∼ α_jλ^(m−j)/m‖f‖_m² + β_jσ²/(nλ^(2k+1)/(2m))를 만족한다.
• 이전 방법들이 후행적으로 비틀림점 수를 최소화하는 방식이었던 것과 달리, 이 방법은 점점 더 최적의 스무딩 파rameter를 사용함으로써 과도한 스무딩을 방지한다.
• 수렴은 컴acts부분구간 [δ,1−δ]에서 균일하며, 해는 C^{2m−ℓ−2}에 속하고, |f^(ℓ)| > 0 인 영역에서는 오일러-라그랑주 방정식 (2.4)를 만족한다.
• 조건 liminf λ_n^(1/2m)n^(1/(2ℓ+3)) > 0 및 limsup < ∞ 를 만족할 경우 오차 경계가 유지되며, 이때 ℓ < 2m−5/2 이다.
• 제약 선택을 위한 불확실성 구간의 사용은 잘못된 비틀림점의 수를 통제하며, n이 증가함에 따라 기대값 수준의 잘못된 양성 결과의 수는 0으로 수렴한다.