[論文レビュー] Nonparametric Shape-restricted Regression

Adityanand Guntuboyina, Bodhisattva Sen|arXiv (Cornell University)|Sep 17, 2017

Statistical Methods and Inference参考文献 103被引用数 11

ひとこと要約

本稿は、単調性、凸性、加法的モデルを含む非パラメトリックな形状制約回帰における最小二乗推定量（LSE）の包括的な理論的分析を提示する。適応的リスクバウンドを確立し、包絡線過程（invelope processes）によるChernoff型分布への収束を示し、形状制約下での有効な信頼区間の構築を可能にする。

ABSTRACT

We consider the problem of nonparametric regression under shape constraints. The main examples include isotonic regression (with respect to any partial order), unimodal/convex regression, additive shape-restricted regression, and constrained single index model. We review some of the theoretical properties of the least squares estimator (LSE) in these problems, emphasizing on the adaptive nature of the LSE. In particular, we study the behavior of the risk of the LSE, and its pointwise limiting distribution theory, with special emphasis to isotonic regression. We survey various methods for constructing pointwise confidence intervals around these shape-restricted functions. We also briefly discuss the computation of the LSE and indicate some open research problems and future directions.

研究の動機と目的

• 単調性、凸性、その他の順序制約下における非パラメトリック形状制約回帰における最小二乗推定量（LSE）の理論的性質を研究すること。
• 真の回帰関数の滑らかさを反映する、LSEの適応的リスクバウンドを確立すること。
• 包絡線過程とブラウン運動近似を用いて、特に等高性回帰におけるLSEの点別漸近分布を導出すること。
• 形状制約下での有効な点別信頼区間の構築法を開発すること。
• 計算および推論に関する形状制約モデルの分野における未解決問題と今後の研究方向性を特定すること。

提案手法

• 形状制約（例えば、等高性または凸関数）を表す閉凸錐への観測応答ベクトルの射影として回帰問題を定式化する。
• 真の関数の近傍におけるLSEの挙動を分析するため、制約集合の接錐と局所幾何学を用いる。
• 局所化された確率過程の弱収束を調べるために、経験過程理論とハンガリアン埋め込み定理を適用する。
• 特に、関心のある点における2階微分および3階微分を通じて、LSEの漸近分布を特徴付けるために「包絡線過程（invelope）」の概念を導入する。
• 固定点の近傍を $ n^{-1/5} $ でスケーリングする局所化技術を用い、ブラウン運動を含む極限過程への収束を可能にする。
• ガウス過程の包絡線を介してLSEの極限分布を導出し、等高性の場合にはChernoff分布と呼ばれる非ガウス型・非i.i.d.極限が得られる。

実験結果

リサーチクエスチョン

• RQ1 形状制約下で、真の回帰関数の滑らかさに応じてLSEのリスクはどのように適応的になるか？
• RQ2 等高性および凸回帰におけるLSEの点別漸近分布は何か？ そして、古典的な漸近正規性とはどのように異なるか？
• RQ3 LSEの極限分布を用いて、形状制約付き関数推定値の有効な点別信頼区間を構築できるか？
• RQ4 制約集合の局所幾何学（例えば、接錐）は、LSEの漸近的挙動にどのように影響を与えるか？
• RQ5 高次元または複雑な形状制約モデルへのLSEの計算および推論の拡張における主な課題と未解決問題は何か？

主な発見

• LSEは、真の関数の局所的滑らかさに依存する適応的リスクバウンドを達成し、関数が区分的定数または線形関数である場合には、標準的な非パラメトリックレートを上回る。
• 等高性回帰におけるLSEの点別漸近分布は、弱収束により包絡線過程の2階微分に収束し、これは非ガウス型の極限として知られるChernoff分布である。
• 極限過程は、ドリフト付きブラウン運動の包絡線として特徴付けられ、包絡線は極限において形状制約を保つ。
• ゼロにおける極限過程の2階微分 $ ilde{bH}_{n}^{loc}''(0) $ は、LSEの極限分布に対応し、$ bH''(0) $、すなわち包絡線の2階微分に分布収束する。
• 連続関数のコンパクト区間上での弱収束を用いて、局所化過程 $ ilde{bH}_{n}^{loc} $ が包絡線 $ bH $ に収束することが確立された。
• LSEの極限分布を逆転させることで、形状制約付き関数の有効な点別信頼区間の構築が可能になる。