[논문 리뷰] Rates of convergence of rho-estimators for sets of densities satisfying shape constraints

Yannick Baraud, Lucien Birgé|arXiv (Cornell University)|2015. 03. 15.

Statistical Methods and Inference참고 문헌 19인용 수 5

한 줄 요약

이 논문은 형태 제약 밀도 추정에서 rho-추정량의 수렴 속도가 날카롭게 규명되어 있으며, 진짜 밀도가 모형의 극단점(예: [0,1]에서 감소하는 밀도)에 가까울 경우, 일반적인 최소최대 경계보다 위험도가 상당히 작아질 수 있음을 보여준다. 핵심 결과는 초최소최대 성질: 비극단점에서의 위험도는 근처의 극단점에서의 위험도와 그 점으로부터의 제곱 헬링거 거리의 합으로 유계화되며, Baraud(2016)의 정교한 경험 과정 경계를 활용한다.

ABSTRACT

The purpose of this paper is to pursue our study of rho-estimators built from i.i.d. observations that we defined in Baraud et al. (2014). For a ρ-estimator based on some model S (which means that the estimator belongs to S) and a true distribution of the observations that also belongs to S, the risk (with squared Hellinger loss) is bounded by a quantity which can be viewed as a dimension function of the model and is often related to the "metric dimension" of this model, as defined in Birgé (2006). This is a minimax point of view and it is well-known that it is pessimistic. Typically, the bound is accurate for most points in the model but may be very pessimistic when the true distribution belongs to some specific part of it. This is the situation that we want to investigate here. For some models, like the set of decreasing densities on [0,1], there exist specific points in the model that we shall call "extremal" and for which the risk is substantially smaller than the typical risk. Moreover, the risk at a non-extremal point of the model can be bounded by the sum of the risk bound at a well-chosen extremal point plus the square of its distance to this point. This implies that if the true density is close enough to an extremal point, the risk at this point may be smaller than the minimax risk on the model and this actually remains true even if the true density does not belong to the model. The result is based on some refined bounds on the suprema of empirical processes that are established in Baraud (2016).

연구 동기 및 목표

• 진짜 밀도가 모형의 극단점에 가까울 경우 형태 제약 모형에서 rho-추정량의 행동을 조사하고, 기존의 최소최대 경계가 과도하게 보수적인 이유를 밝히는 것.
• 진짜 밀도가 모형 내 극단점에 가까울 경우 rho-추정량의 위험도가 일반적인 최소최대 위험도보다 상당히 작아질 수 있음을 입증하는 것.
• 적절히 선택된 극단점에서의 위험도와 그 점으로부터의 제곱 헬링거 거리로 분해되는 정교한 위험도 경계를 도출하여 초최소최대 성능를 가능하게 하는 것.
• 진짜 밀도가 모형 외부에 있지만 잘 정의된 점에 가까울 경우에도 rho-추정량의 강건성을 보여주는 것.

제안 방법

• 모형 $\overline{S}$에서 rho-추정량의 최소최대 위험도 경계를 사용하며, 위험도는 메트릭 엔트로피와 관련된 차원 함수로 유계화된다.
• 감소 밀도 등 형태 제약 모형에서의 극단점 개념을 도입하여, 이 경우 위험도가 일반적인 최소최대 경계보다 상당히 작아짐을 보여준다.
• 위험도 분해를 확립: 모형 내 임의의 밀도 $t$에 대해 $h^2(t, \widehat{s}) \leq R(\overline{s},n) + h^2(t, \overline{s})$이며, 여기서 $\overline{s}$는 극단점이다.
• Baraud(2016)의 경험 과정에 대한 정교한 최대값 경계를 적용하여 추정량이 진짜 밀도에서 벗어나지 않도록 제어한다.
• 모형의 구조에 의해 정의된 간격에서 $\sqrt{t}$의 조각별 선형 근사화를 사용하며, 도함수의 변화가 제어되는 분할 기법을 적용한다.
• 편향과 복잡도 사이의 트레이드오프를 최적화하여 조각 수를 결정함으로써, 최종 경계가 $[\ell(I_j) R_j^2]^{\alpha}$ 형태의 합을 포함하도록 유도하며, 이때 $\alpha = 1/3$ 또는 $1/5$는 경우에 따라 달라진다.

실험 결과

연구 질문

• RQ1 형태 제약 모형에서 진짜 밀도가 극단점에 가까울 경우 rho-추정량이 최소최대 수렴 속도를 초월하는 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 진짜 밀도가 모형 외부에 있지만 모형 내 극단점에 가까울 경우 rho-추정량의 위험도는 어떻게 행동하는가?
• RQ3 모형 내 가장 가까운 극단점으로부터의 헬링거 거리에 따른 위험도의 정확한 의존성은 무엇인가?
• RQ4 rho-추정량의 경험 과정 행동을 충분히 날카럽게 제어할 수 있을까? 이는 비.i.i.d. 또는 비정규 설정에서도 날카운 경계를 도출할 수 있게 한다.
• RQ5 밀도 추정을 위한 $\sqrt{t}$의 조각별 선형 근사에서, 근사 복잡도와 추정 오차 사이의 최적 트레이드오프는 무엇인가?

주요 결과

• 모형 내 비극단점 $t$에서 rho-추정량의 위험도는 적절히 선택된 극단점 $\overline{s}$에서의 위험도와 $h^2(t, \overline{s})$인 제곱 헬링거 거리의 합으로 유계화된다.
• 진짜 밀도 $t$가 극단점 $\overline{s}$에 가까울 경우, rho-추정량의 위험도는 전체 모형에 대한 일반적인 최소최대 위험도보다 상당히 작아질 수 있다.
• [0,1]에서 감소 밀도의 집합에 대해, 일반적인 최소최대 속도보다 상당히 감소된 위험도를 보이는 극단점이 존재한다.
• 최종 위험도 경계는 $\left[\sum_{j=1}^{k} (\ell(I_j) R_j^2)^{1/3}\right]^3 / (4D^2)$ 형태를 가지며, 이는 도함수의 변화에 대한 비표준적 의존성을 보여준다.
• 도메인을 $k$개의 간격으로 분할하고 근사화에 사용되는 조각 수를 제어함으로써, 순서 $\left[\sum_{j=1}^{k} (\ell(I_j)^3 R_j^2)^{1/5}\right]^5 / (16D^4)$의 경계를 달성하며, 이는 편향과 복잡도 사이의 정교한 트레이드오프를 반영한다.
• 결과는 rho-추정량이 모형에서의 작은 헬링거 이탈에 대해 강건함을 확인하며, 진짜 밀도가 모형에 포함되지 않더라도 잘 정의된 극단점에 가까울 경우 낮은 위험도를 유지함을 보여준다.