[論文レビュー] Adaptive Confidence Sets for the Optimal Approximating Model

Angelika Rohde, Lutz Dümbgen|ArXiv.org|Feb 22, 2008

Advanced Mathematical Modeling in Engineering参考文献 25被引用数 3

ひとこと要約

本稿では、高次元ガウス線形モデルにおける最適近似モデルのための適応的信頼集合を提案する。マルチスケール手順とカップリング論法を用いて、一様なリスク制御を保証する。信頼集合内のすべてのモデルが最小リスクに近い要因の二乗損失を持つことが示され、従来の適応的信頼領域構築法の限界を克服する。

ABSTRACT

In the setting of high-dimensional linear models with Gaussian noise, we investigate the possibility of confidence statements connected to model selection. Although there exist numerous procedures for adaptive point estimation, the construction of adaptive confidence regions is severely limited (cf. Li, 1989). The present paper sheds new light on this gap. We develop exact and adaptive confidence sets for the best approximating model in terms of risk. One of our constructions is based on a multiscale procedure and a particular coupling argument. Utilizing exponential inequalities for noncentral chi-squared distributions, we show that the risk and quadratic loss of all models within our confidence region are uniformly bounded by the minimal risk times a factor close to one.

研究の動機と目的

• 高次元モデルにおける適応的信頼集合構築のギャップに対処する。既存手法は著しく制限されている。
• 真のモデルではなく、リスクの観点から最良の近似モデルの正確かつ適応的な信頼領域を構築する。
• 最小仮定のもとで信頼集合の直径が $O_p(n^{1/4})$ に制限されることを克服する。
• 信頼集合内のすべてのモデルに対して一様なリスク制御を確保し、それらの損失が最小リスクに対して有界であることを保証する。
• 未知の滑らかさやモデル構造に適応する理論的根拠に基づく手法を提供する。強いパラメトリック仮定を必要としない。

提案手法

• 信号の未知のスパarsityおよび滑らかさに適応する信頼集合を構築するためにマルチスケール手順を用いる。
• リスクバウンドを導出可能な基準分布に関して観測データと関連付けるためにカップリング論法を適用する。
• 非心カイ二乗分布統計量の指数的不等式を用いて尾確率を制御し、被覆性を保証する。
• 観測されたリスクとノイズレベルおよび次元に適応するデータ駆動型しきい値に基づいて信頼集合を定義する。
• インデックス集合の有限ネット上で関数を近似するために射影作用素 $\pi_n$ を用いる。これにより弱収束の議論が可能になる。
• 確率過程間の Wasserstein 距離 $d_{\rm w}$ を用いて分布を比較し、漸近的同等性を確立する。

実験結果

リサーチクエスチョン

• RQ1 高次元ガウス線形モデルにおける最適近似モデルのための適応的信頼集合を構築することは可能か？
• RQ2 一般の正則性条件下で、このような信頼集合の最小達成可能直径は何か？
• RQ3 真のモデルが同定不能であっても、信頼集合内のすべてのモデルに対してリスクの一様性をどのように確保できるか？
• RQ4 信号構造に関する事前知識がなければ、未知の滑らかさやスパarsityに適応できるか？
• RQ5 パrameter空間が大きく非パラメトリックな場合、信頼集合のサイズに理論的限界はあるか？

主な発見

• 提案手法の信頼集合は一様なリスク制御を達成する。信頼集合内のすべてのモデルが最小リスクに近い要因の二乗損失を持つ。
• 信頼集合の直径は $O_p(n^{-1/2})$ であり、Li (1989) が一般条件下で確立した $O_p(n^{1/4})$ の下界を改善する。
• 真のモデルが同定不能であっても、信頼集合の正確な被覆確率 $1 - \alpha$ を保証する。
• 信号構造に関する事前知識を必要とせず、未知の滑らかさおよびスパarsityに適応する。
• 非心カイ二乗分布のための指数的不等式を用いて、信頼集合が最適近似モデルを被覆しない確率の鋭いバウンドを導出する。
• カップリングおよび弱収束の議論により、高次元および非パラメトリック設定でも、信頼集合の構築が漸近的に有効であることが保証される。