[論文レビュー] Confidence intervals for multiple isotonic regression and other monotone models

Hang Deng, Qiyang Han+1 more|arXiv (Cornell University)|Jan 20, 2020

Advanced Statistical Methods and Models参考文献 60被引用数 5

ひとこと要約

本稿では、ブロック最大最小および最小最大推定子を活用することで、複数変数の等単調回帰およびその他の単調モデルに対する漸近的に正確な信頼区間を構築する。これらの推定子の頂点情報を利用することで、極限分布におけるずるいパラメータ（nuiance parameters）を除去し、未知の微分係数に依存しない汎用的な漸近的分布を導出し、正規条件のもとで正確なカバレッジを持つオракル長信頼区間を実現する。

ABSTRACT

We consider the problem of constructing pointwise confidence intervals in the multiple isotonic regression model. Recently, [HZ19] obtained a pointwise limit distribution theory for the so-called block max-min and min-max estimators [FLN17] in this model, but inference remains a difficult problem due to the nuisance parameter in the limit distribution that involves multiple unknown partial derivatives of the true regression function. In this paper, we show that this difficult nuisance parameter can be effectively eliminated by taking advantage of information beyond point estimates in the block max-min and min-max estimators. Formally, let $\hat{u}(x_0)$ (resp. $\hat{v}(x_0)$) be the maximizing lower-left (resp. minimizing upper-right) vertex in the block max-min (resp. min-max) estimator, and $\hat{f}_n$ be the average of the block max-min and min-max estimators. If all (first-order) partial derivatives of $f_0$ are non-vanishing at $x_0$, then the following pivotal limit distribution theory holds: $$ \sqrt{n_{\hat{u},\hat{v}}(x_0)}\big(\hat{f}_n(x_0)-f_0(x_0)\big) ightsquigarrow σ\cdot \mathbb{L}_{1_d}. $$ Here $n_{\hat{u},\hat{v}}(x_0)$ is the number of design points in the block $[\hat{u}(x_0),\hat{v}(x_0)]$, $σ$ is the standard deviation of the errors, and $\mathbb{L}_{1_d}$ is a universal limit distribution free of nuisance parameters. This immediately yields confidence intervals for $f_0(x_0)$ with asymptotically exact confidence level and oracle length. Notably, the construction of the confidence intervals, even new in the univariate setting, requires no more efforts than performing an isotonic regression for once using the block max-min and min-max estimators, and can be easily adapted to other common monotone models. Extensive simulations are carried out to support our theory.

研究の動機と目的

• 複数変数の等単調回帰における有効な信頼区間の構築という課題に取り組む。ここでの極限分布には未知の偏微分係数が含まれる。
• 点推定値を超える追加の情報として、ブロック最大最小および最小最大推定子からの情報を活用し、漸近的分布におけるずるいパラメータを除去する。
• 未知の微分係数に依存しない普遍的かつピボタルな極限分布を確立し、正確な推論を可能にする。
• 手法を単調密度推定やパネルカウントモデルを含む他の単調モデルへと拡張する。

提案手法

• ブロック最大最小および最小最大推定子を定義する。ここで、$\widehat{u}(x_0)$ と $\widehat{v}(x_0)$ は、ブロック $[\widehat{u}(x_0), \widehat{v}(x_0)]$ 内で左下を最大化する点および右上を最小化する点である。
• 推定安定性を向上させるために、平均推定子 $\widehat{f}_n(x_0) = \frac{1}{2}(\widehat{f}_n^-(x_0) + \widehat{f}_n^+(x_0))$ を構築する。
• 推定誤差 $\sqrt{n_{\widehat{u},\widehat{v}}(x_0)}(\widehat{f}_n(x_0) - f_0(x_0))$ を正規化するため、$n_{\widehat{u},\widehat{v}}(x_0)$ を確率的スケーリング要因として用いる。
• 点 $x_0$ において偏微分係数が消えない条件下で、正規化誤差が $\sigma \cdot \mathbb{L}_{\mathbf{1}_d}$ に分布収束することを証明する。これは、ずるいパラメータに依存しない汎用的な極限分布である。
• 極限分布 $\mathbb{L}_{\mathbf{1}_d}$ が分布に依存せずピボタルであることを確立し、正確なカバレッジと最小長信頼区間を実現可能にする。
• 単調密度推定、現在状態データ、パネルカウントモデル、単調性制約を含む一般化線形モデルを含む他の単調モデルに対しても、この手法を適応する。

実験結果

リサーチクエスチョン

• RQ1 複数変数の等単調回帰において、漸近的に正確なカバレッジとオラクル長を有する信頼区間を構築できるか？
• RQ2 極限分布に含まれる未知の偏微分係数を含むずるいパラメータは、どのようにして除去できるか？
• RQ3 ピボタル極限分布理論は、等単調回帰を越えて他の単調モデルへと拡張可能か？
• RQ4 ブロック最大最小および最小最大推定子の構造は、未知の微分係数に依存しないことを保証するのに十分か？

主な発見

• 正規化誤差 $\sqrt{n_{\widehat{u},\widehat{v}}(x_0)}(\widehat{f}_n(x_0) - f_0(x_0))$ は、ずるいパラメータに依存しない汎用的極限分布 $\sigma \cdot \mathbb{L}_{\mathbf{1}_d}$ に分布収束する。
• 極限分布 $\mathbb{L}_{\mathbf{1}_d}$ はピボタルかつ分布に依存せず、正確なカバレッジと最小長信頼区間の実現を可能にする。
• 本手法は、等単調回帰を一度実行するだけで、追加計算を必要とせず、計算的に効率的である。
• 単調密度推定、現在状態データ、パネルカウントモデル、単調性制約を含む一般化線形モデルを含む他の単調モデルへも拡張可能である。
• シミュレーションにより理論的結果が裏付けられ、有限標本でも正確なカバレッジとオラクル長性能が確認された。
• 主な洞察は、ブロック推定子の頂点情報を利用することで、未知の偏微分係数を除去でき、形状制約付きモデルにおける推論の長年の課題を解決できる点にある。