[論文レビュー] Nonparametric Least Squares Estimation of a Multivariate Convex Regression Function

Emilio Seijo, Bodhisattva Sen|arXiv (Cornell University)|Mar 24, 2010

Advanced Statistical Methods and Models参考文献 32被引用数 7

ひとこと要約

本稿では、二次計画法および線形計画法を用いて、固定設計および確率的設計の両設定において、ややいびつな正則性条件の下で一貫性が確立される、多変量凸回帰関数の非パrametric最小二乗推定量を提案する。主な貢献は、チューニングパラメータを必要とせず、多次元設定において凸回帰関数およびその部分微分を一貫して推定可能な計算的に実行可能な手法である。

ABSTRACT

This paper deals with the consistency of the least squares estimator of a convex regression function when the predictor is multidimensional. We characterize and discuss the computation of such an estimator via the solution of certain quadratic and linear programs. Mild sufficient conditions for the consistency of this estimator and its subdifferentials in fixed and stochastic design regression settings are provided. We also consider a regression function which is known to be convex and componentwise nonincreasing and discuss the characterization, computation and consistency of its least squares estimator.

研究の動機と目的

• 本稿の目的は、多変数凸回帰関数の非パラメトリック推定のための体系的でない方法の欠如に取り組むことにある。
• 本稿は、予測子空間が多次元である場合の凸回帰の最小二乗推定量の特徴付けと計算を目的としている。
• 目的には、ややいびつな正則性条件の下で推定量およびその部分微分の一貫性の証明が含まれる。
• 既存の一次元凸回帰理論を、自然な順序構造が存在しない多次元への拡張することである。
• 本稿は、バンド幅選択が高次元で困難であるため、カーネル法やペナルティ法に代わるチューニングフリーの代替手法を提供することを目的としている。

提案手法

• 最小二乗推定量は、観測された予測子の凸包上で経験的L2損失を最小化する凸関数として定義される。
• 推定量は、凸性制約を線形不等式として用いることで、二次計画法を解くことによって計算される。
• 点ごとの推定量の評価は、線形計画法を解くことで達成され、特定の設計点での計算が効率的に行える。
• 本手法は、凸関数の部分微分の特徴付けに依存しており、周期的単調性および2次条件を利用している。
• 理論的一貫性は、凸集合の幾何的性質および凸包の極値点に依存して確立される。
• 本手法はチューニングパラメータを回避しており、非パラメトリック回帰で一般的に用いられるカーネル法やスプライン法とは明確に区別される。

実験結果

リサーチクエスチョン

• RQ1 多次元予測子を有する非パラメトリック設定において、多変数凸回帰関数の最小二乗推定量を一貫して推定できるか？
• RQ2 高次元設定において、推定量およびその部分微分を効率的に計算する方法は何か？
• RQ3 固定設計および確率的設計回帰モデルにおいて、最小二乗推定量の一貫性を保証する正則性条件は何か？
• RQ4 計算の実行可能性およびチューニング要件の観点から、本手法は既存の手法とどのように比較できるか？
• RQ5 二次計画法および線形計画法などの凸最適化手法を用いて、推定量を特徴付けおよび計算できるか？

主な発見

• 固定設計および確率的設計の両設定において、ややいびつな正則性条件の下で、多変数凸回帰関数の最小二乗推定量は一貫している。
• 推定量は凸二次計画法を解くことで計算可能であり、点ごとの評価は線形計画法により達成可能である。
• 同じ条件下で、推定量の部分微分も一貫して推定可能である。
• 本手法はチューニングフリーであり、カーネル法に依存する非パラメトリック手法で必要な複雑なバンド幅選択を回避する。
• 凸包の幾何的構造および極値点は、一貫性の証明と計算の両面で中心的な役割を果たす。
• 自然な順序が欠如する高次元において、一次元凸回帰理論の一般化が可能である。