[論文レビュー] Confidence sets for the optimal approximating model --- Bridging a gap between adaptive point estimation and confidence regions

Angelika Rohde, D.W. Lutz|arXiv (Cornell University)|Jan 1, 2008

Probabilistic and Robust Engineering Design参考文献 25被引用数 2

ひとこと要約

本稿は、ガウスノイズを伴う高次元線形モデルにおける最良の近似モデルに対して、マルチスケール手順とカップリング論法を用いて一様なリスクバウンドを保証する、適応的信頼集合を提案する。すべての信頼集合に含まれるモデルが、最小の可能なリスクに非常に近い要因の範囲内に収まることが確立されており、適応的推定と信頼領域構築の間の重要なギャップを埋める。

ABSTRACT

In the setting of high-dimensional linear models with Gaussian noise, we investigate the possibility of confidence statements connected to model selection. Although there exist numerous procedures for adaptive point estimation, the construction of adaptive confidence regions is severely limited (cf.\ Li, 1989). The present paper sheds new light on this gap. We develop exact and adaptive confidence sets for the best approximating model in terms of risk. Our construction is based on a multiscale procedure and a particular coupling argument. Utilizing exponential inequalities for noncentral $\chi^2$--distributions, we show that the risk and quadratic loss of all models within our confidence region are uniformly bounded by the minimal risk times a factor close to one.

研究の動機と目的

• ガウスノイズを伴う高次元線形モデルにおける適応的信頼領域を構築するという、長年の課題に取り組む。
• 推定の進展にもかかわらず、依然として制限されている適応的点推定と信頼領域構築の間のギャップを埋める。
• リスク最小化に基づいて、最適な近似モデルの正確かつ適応的な信頼集合を構築する。
• 信頼領域に含まれるすべてのモデルが、最小リスクに対して一様に有界なリスクを持つことを保証する。
• 適応的推定手順の性能を模倣する理論的根拠に基づく統計的推論手法を提供する。

提案手法

• さまざまな複雑さと解像度のモデルを探索するためのマルチスケール手順を採用する。
• リスクバウンドを導出できるように、観測データを基準プロセスに結びつける特定のカップリング論法を用いる。
• 非心カイ二乗分布の指数的不等式を活用して、尾部の挙動とリスクの逸脱を制御する。
• 信頼集合を構築する際、含まれるすべてのモデルのリスクと二乗損失が、最小リスクのほぼ1に近い要因で一様に有界になるようにする。
• 真のモデルの次元やスパarsityに関する事前知識がなくてもよいように、信頼集合がデータに依存するように適応性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ガウスノイズを伴う高次元線形モデルにおける最良の近似モデルに対して、適応的信頼集合を構築することは可能か？
• RQ2 信頼領域に含まれるモデルのリスクを、最小の可能なリスクに対して一様に有界にできるか？
• RQ3 スパarsityの知識が不要な、正確かつ適応的な信頼領域を構築するための技術は何か？
• RQ4 高次元設定において、適応的点推定と信頼領域構築の間のギャップをどの程度まで埋められるか？
• RQ5 カップリング論法とカイ二乗分布の尾部不等式を効果的に組み合わせることで、有限標本におけるリスク保証を達成できるか？

主な発見

• 提案された信頼集合は適応的かつ正確であり、モデル構造に関する事前知識がなくても有効な被覆を達成する。
• 信頼領域に含まれるすべてのモデルが、最小リスクの任意に近い要因で、リスクおよび二乗損失が一様に有界である。
• この手法により、高次元設定下でも最良の近似モデルを高い確率で含む信頼領域が得られる。
• 非心カイ二乗分布の指数的不等式の使用により、リスクが最小値から逸脱するのをきめ細かく制御できる。
• カップリング論法により、観測データを基準プロセスにうまく結びつけることができ、全モデルにわたるリスクの精密な特徴付けが可能になった。
• 本手法は、信頼集合に含まれるすべてのモデルに対して一様なリスクバウンドを達成しており、これまではこのような保証が欠けていた既存手法に比べて顕著な進歩である。