[論文レビュー] Rates of convergence of rho-estimators for sets of densities satisfying shape constraints

Yannick Baraud, Lucien Birgé|arXiv (Cornell University)|Mar 15, 2015

Statistical Methods and Inference参考文献 19被引用数 5

ひとこと要約

この論文は、形状制限付き密度推定におけるrho推定量の収束速度の鋭い評価を確立し、真の密度がモデルの極値点（例：[0,1] 上の単調減少密度）に近い場合、通常のミニマックス境界よりも顕著に小さいリスクを達成できることを示している。主な結果は、非極値点におけるリスクが、近接する極値点におけるリスクとその二乗ヘルンバーガー距離の和で抑えられることである。これは、Baraud（2016）による精密な経験過程の境界を活用したスーパーミニマックス性を示している。

ABSTRACT

The purpose of this paper is to pursue our study of rho-estimators built from i.i.d. observations that we defined in Baraud et al. (2014). For a ρ-estimator based on some model S (which means that the estimator belongs to S) and a true distribution of the observations that also belongs to S, the risk (with squared Hellinger loss) is bounded by a quantity which can be viewed as a dimension function of the model and is often related to the "metric dimension" of this model, as defined in Birgé (2006). This is a minimax point of view and it is well-known that it is pessimistic. Typically, the bound is accurate for most points in the model but may be very pessimistic when the true distribution belongs to some specific part of it. This is the situation that we want to investigate here. For some models, like the set of decreasing densities on [0,1], there exist specific points in the model that we shall call "extremal" and for which the risk is substantially smaller than the typical risk. Moreover, the risk at a non-extremal point of the model can be bounded by the sum of the risk bound at a well-chosen extremal point plus the square of its distance to this point. This implies that if the true density is close enough to an extremal point, the risk at this point may be smaller than the minimax risk on the model and this actually remains true even if the true density does not belong to the model. The result is based on some refined bounds on the suprema of empirical processes that are established in Baraud (2016).

研究の動機と目的

• 真の密度がモデルの極値点に近い場合のrho推定量の挙動を調査し、標準的なミニマックス境界が過剰に保守的であることを明らかにすること。
• 真の密度がモデル内の極値点に近い場合、rho推定量のリスクがミニマックスリスクよりも顕著に小さいことを確立すること。
• 適切に選ばれた極値点におけるリスクと、それへの二乗ヘルンバーガー距離に分解される、洗練されたリスク境界を導出することにより、スーパーミニマックス性能を実現すること。
• 真の密度がモデル外にあっても、良好に挙動する点に近い場合に、rho推定量のロバスト性を示すこと。これにより、モデル外でも低リスクを維持できることを示すこと。

提案手法

• モデル $\overline{S}$ 上でのrho推定量のミニマックスリスク境界を用い、リスクはメトリックエントロピーに関連する次元関数によって抑えられる。
• 形状制限付きモデル（例：[0,1] 上の単調減少密度）における極値点の概念を導入し、ここではリスクが通常のミニマックス境界よりも顕著に小さいことが示される。
• リスク分解を確立：モデル内の任意の密度 $t$ に対して、$h^2(t, \widehat{s}) \leq R(\overline{s},n) + h^2(t, \overline{s})$ が成り立ち、ここで $\overline{s}$ は極値点である。
• Baraud（2016）による経験過程の上限の精密な評価を応用し、推定量の真の密度からの逸脱を制御する。
• モデル構造によって定義される区間における $\sqrt{t}$ の区分的アフィン近似を用い、導関数の変動を制御する分割法を採用する。
• バイアスと複雑さのトレードオフを最適化することで、分割数を調整し、最終的な境界が $[\ell(I_j) R_j^2]^{\alpha}$ 項の和を含む形になるように導く。ここで $\alpha = 1/3$ または $1/5$ であり、状況に応じて異なる。

実験結果

リサーチクエスチョン

• RQ1 真の密度が形状制限付きモデル内の極値点に近い場合、rho推定量はミニマックスより速い収束速度を達成できるか？
• RQ2 真の密度がモデル外にあっても、モデル内に存在する極値点に近い場合、rho推定量のリスクはどのように振る舞うか？
• RQ3 モデル内における最近接極値点へのヘルンバーガー距離がリスクに与える正確な依存関係は何か？
• RQ4 rho推定量の経験過程の挙動は、十分にきめ細かく制御可能であり、非 i.i.d. または非正規設定でも鋭い境界を導けるか？
• RQ5 密度推定のための $\sqrt{t}$ の区分的アフィン近似において、近似の複雑さと推定誤差の最適なトレードオフは何か？

主な発見

• モデル内の非極値点 $t$ におけるrho推定量のリスクは、適切に選ばれた極値点 $\overline{s}$ におけるリスクと $h^2(t, \overline{s})$（二乗ヘルンバーガー距離）の和で抑えられる。
• 真の密度 $t$ が極値点 $\overline{s}$ に近い場合、rho推定量のリスクは、モデル全体の典型的なミニマックスリスクよりも顕著に小さくなる。
• [0,1] 上の単調減少密度の集合に対しては、通常のミニマックスレートと比較して顕著にリスクが低減される極値点が存在する。
• 最終的なリスク境界は、$\left[\sum_{j=1}^{k} (\ell(I_j) R_j^2)^{1/3}\right]^3 / (4D^2)$ の形をとり、ここで $R_j = V_{I_j}((\sqrt{t})')$ である。これは導関数の変動に非標準的な依存関係を示している。
• 領域を $k$ 個の区間に分割し、近似におけるピース数を制御することで、$\left[\sum_{j=1}^{k} (\ell(I_j)^3 R_j^2)^{1/5}\right]^5 / (16D^4)$ のオーダーの境界が得られ、バイアスと複雑さの洗練されたトレードオフが反映されている。
• 結果は、rho推定量がモデルからの小さなヘルンバーガー逸脱に対してもロバストであることを確認しており、真の密度がモデルに含まれない場合でも、良好に挙動する極値点に近い場合には低リスクを維持できることを示している。