[論文レビュー] On Degrees of Freedom of Projection Estimators with Applications to Multivariate Shape Restricted Regression

Xi Chen, Qihang Lin+1 more|arXiv (Cornell University)|Jan 1, 2015

Statistical Methods and Inference参考文献 52被引用数 9

ひとこと要約

この論文は、有界等単調回帰、多次元凸回帰、罰則付き凸回帰を含む形状制限回帰における射影推定の自由度を統一的に特徴づける。リッジ回帰、ラッソ、一般化ラッソに対する既知の結果を拡張し、明示的な自由度の公式を通じてスティーブンの不偏リスク推定によるチューニングパラメータの選択を可能にする。

ABSTRACT

Abstract: Consider the Gaussian sequence model y ∼ N(θ∗, σ2In), where θ ∗ is unknown but known to belong to a closed convex polyhedral set C ⊆ Rn. In this paper we provide a unified characterization of the degrees of freedom for estimators of θ ∗ obtained as the (linearly or quadratically perturbed) par-tial projection of y onto C. As special cases of our results, we derive explicit expressions for the degrees of freedom in many shape restricted regression problems, e.g., bounded isotonic regression, multivariate convex regression and penalized convex regression. Our general theory also yields, as special cases, known results on the degrees of freedom of many well-studied estima-tors in the statistics literature, such as ridge regression, Lasso and generalized Lasso. Our results can be readily used to choose the tuning parameter(s) in-volved in the estimation procedure by minimizing the Stein’s unbiased risk estimate. We illustrate this through simulation studies for bounded isotonic regression and penalized convex regression. As a by-product of our analysis we derive an interesting connection between bounded isotonic regression and isotonic regression on a general partially ordered set, which is of independent interest.

研究の動機と目的

• 形状制限回帰問題における射影推定の自由度の一般理論を構築すること。
• リッジ回帰、ラッソ、一般化ラッソなどの推定の自由度に関する既存の結果を、共通の枠組みで統一すること。
• 有界等単調回帰、多次元凸回帰、罰則付き凸回帰の明示的な自由度の式を導出すること。
• スティーブンの不偏リスク推定を用いたデータ駆動型チューニングパラメータ選択を可能にすること。
• 有界等単調回帰と一般の部分順序集合上の等単調回帰の間の新しい関係を明らかにすること。

提案手法

• 論文は観測ベクトル y を、閉凸多面体集合 C ⊆ R^n に属する mean θ∗ のガウス列としてモデル化する。
• y を C に射影する（線形的または二次的に入力された）部分射影として定義される推定を分析する。
• 幾何学的および凸解析の道具を用いて自由度を特徴づけ、特に多面体集合の構造を活用する。
• 形状制限付きの非制約および制約付き推定問題の両方に適用可能な枠組みである。
• 具体的なモデル、例えば等単調回帰および凸回帰に対して、明示的な自由度を導出するために理論を応用する。
• スティーブンの不偏リスク推定（SURE）の最小化を通じてチューニングパラメータ選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 形状制限回帰における射影推定の自由度の一般形は何か？
• RQ2 有界等単調回帰の自由度はどのように明示的に特徴づけられるか？
• RQ3 リッジ回帰やラッソなどの既存の推定は、この統一的枠組みにどの程度適合するか？
• RQ4 自由度の公式は実際のチューニングパラメータ選択に SURE を用いて利用可能か？
• RQ5 有界等単調回帰と一般の部分順序集合上の等単調回帰の間の関係は何か？

主な発見

• 論文は、有界等単調回帰、多次元凸回帰、罰則付き凸回帰における自由度の明示的かつ閉形式の式を導出する。
• この枠組みは、リッジ回帰、ラッソ、一般化ラッソの既知の自由度の結果を特別な場合として回復する。
• 自由度が計算可能であり、スティーブンの不偏リスク推定によるチューニングパラメータ選択に適していることが示された。
• シミュレーション研究により、SUREに基づくチューニングが有界等単調回帰および罰則付き凸回帰で有効であることが示された。
• 予期しない関係が、有界等単調回帰と一般の部分順序集合上の等単調回帰の間で明らかになった。これは独立に理論的関心を引くものである。
• 理論は、形状制限推定におけるモデル選択および不確実性の定量化の原則的アプローチを提供する。