[論文レビュー] On the risk of convex-constrained least squares estimators under misspecification

Billy Fang, Adityanand Guntuboyina|arXiv (Cornell University)|Jun 13, 2017

Statistical Methods and Inference参考文献 12被引用数 4

ひとこと要約

本稿は、真の平均ベクトルが制約集合の外にあるモデル不適合下での凸制約付き最小二乗推定量を研究する。高ノイズ（大きなσ）極限において、推定量のリスクが適切に適合した場合よりも顕著に小さくなることが示され、OymakとHassibiの低ノイズ特徴付けを多面体制約に対して不適合設定に一般化する。これは等単調回帰や形状制限付きモデルに影響を及ぼす。

ABSTRACT

We consider the problem of estimating the mean of a noisy vector. When the mean lies in a convex constraint set, the least squares projection of the random vector onto the set is a natural estimator. Properties of the risk of this estimator, such as its asymptotic behavior as the noise tends to zero, have been well studied. We instead study the behavior of this estimator under misspecification, that is, without the assumption that the mean lies in the constraint set. For appropriately defined notions of risk in the misspecified setting, we prove a generalization of a low noise characterization of the risk due to Oymak and Hassibi in the case of a polyhedral constraint set. An interesting consequence of our results is that the risk can be much smaller in the misspecified setting than in the well-specified setting. We also discuss consequences of our result for isotonic regression.

研究の動機と目的

• 真の平均ベクトルが制約集合に含まれない、すなわちモデル不適合下での凸制約付き最小二乗推定量の挙動を理解すること。
• OymakとHassibiによる低ノイズにおけるリスク特徴付けを、高ノイズ領域および不適合設定に一般化すること。
• ノイズ分散σ² → ∞における漸近的リスク行動を、特に多面体制約集合に対して調べること。
• 得られた結果が等単調回帰やその他の形状制限付きモデルに与える影響を検討すること。
• 制約集合の接錐および再発錐の統計次元を用いて、極限リスクを特徴づけること。

提案手法

• 推定量として閉凸集合Cへの最小二乗射影を用いる：ŝθ(Y) = Π_C(Y)。
• 真のパラメータθ* ∉ Cである不適合下でのリスクR(ŝθ, θ*) = E_θ* ||ŝθ(Y) - θ*||²を分析する。
• 高ノイズ極限（σ → ∞）におけるσ⁻²倍のリスクの極限を調べるために、劣化収束定理を適用する。
• 制約集合Cの再発錐K_Cを導入し、極限リスクを統計次元δ(K_C)と関連付ける。
• lim_{σ→∞} σ⁻² E||Π_C(Y) - θ*||² = δ(K_C) を確立する。ここでδは統計次元を表す。
• 錐への射影の性質および射影写像の連続性を用いて、極限の交換を正当化する。

実験結果

リサーチクエスチョン

• RQ1 真の平均ベクトルが制約集合の外にある場合、凸制約付き最小二乗推定量のリスクはどのように振る舞うか？
• RQ2 高ノイズ（大きなσ）極限における正規化リスクは、制約集合の幾何的特徴によって特徴付けられるか？
• RQ3 不適合設定下でのリスクが、適切に適合した設定下のリスクよりも小さくなることはあるか？
• RQ4 再発錐K_Cはσ → ∞における極限リスクを決定づける役割を果たすか？
• RQ5 これらの結果は等単調回帰やその他の形状制限付きモデルにどのように拡張されるか？

主な発見

• 高ノイズ極限（σ → ∞）において、正規化リスクσ⁻² E||Π_C(Y) - θ*||²は制約集合Cの再発錐K_Cの統計次元に収束する。
• 極限リスクδ(K_C)は、適切に適合したリスクσ² δ(T_C(θ*))よりも厳密に小さくなることがある。これは、不適合性が高ノイズ領域で低リスクをもたらす可能性を示している。
• 有界でない制約集合Cに対しては再発錐K_Cは非自明であり、δ(K_C) > 0である。有界なCに対してはK_C = {0}であるため、極限リスクは0である。
• この結果は、OymakとHassibiの低ノイズ特徴付けを高ノイズ領域に一般化し、δ(K_C)が両極端において二重の役割を果たすことを示している。
• 正規化リスクがδ(K_C)に収束することは、劣化収束定理および射影写像の連続性によって正当化される。
• 等単調回帰（C = ℝⁿ₊）では、極限リスクはδ(ℝⁿ₊) = nであるが、制約の構造のおかげで有限標本リスクは不適合下で小さくなることがある。