[論文レビュー] Tuning parameter selection in econometrics

Denis Chetverikov|arXiv (Cornell University)|May 5, 2024

Forecasting Techniques and Applications被引用数 18

ひとこと要約

非パラメトリックおよびL1-ペナルティを課した推定におけるパラメータ選択手法の選択的調査を行い、Mallows、Stein、Lepski、クロスバリデーション、ペナル化、およびアグリゲーションの方法と、クラスタリング・パネル・一般化モデルへの拡張を詳述する。

ABSTRACT

I review some of the main methods for selecting tuning parameters in nonparametric and $\ell_1$-penalized estimation. For the nonparametric estimation, I consider the methods of Mallows, Stein, Lepski, cross-validation, penalization, and aggregation in the context of series estimation. For the $\ell_1$-penalized estimation, I consider the methods based on the theory of self-normalized moderate deviations, bootstrap, Stein's unbiased risk estimation, and cross-validation in the context of Lasso estimation. I explain the intuition behind each of the methods and discuss their comparative advantages. I also give some extensions.

研究の動機と目的

• 非パラメトリックおよび高次元設定における主なパラメータ選択問題を明確化する。
• 系列推定量の代表的な手法（Mallows、Stein、Lepski、クロスバリデーション、ペナル化、集約）の提示と比較。
• 理論的保証（oracle不等式・漸近的最適性など）を説明し、実用性と拡張性を論じる。
• クラスタ化/パネルデータ、分位点回帰および一般化線形モデルへの拡張を強調する。
• 各手法が有利となる状況と、推定/予測目的との関係について指針を提供する。

提案手法

• 非パラメトリック平均推定における系列推定量の問題設定と高次元Lasso推定の問題設定を説明する。
• MallowsとSteinの偏りのないリスク推定法とそれらの条件（例：Steinには正規誤差）がある。
• Lepski法の要点と、バイアス-分散の観点に基づく検定を用いた点wise適応機構（他の指標への拡張可能性を含む）を概説する。
• 検証、V-fold、Leave-one-outなどのクロスバリデーションの多様体と、それらの普遍性と限界を論じる。
• ペナル化と集約の観点を、oracle不等式の含意を持つパラメータ調整メカニズムとして提示する。
• クラスタ化/パネルデータへの拡張、分位点回帰モデルおよび一般化線形モデルへの拡張に言及する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック系列推定量と高次元Lasso推定に適用可能な主なパラメータ選択手法は何か？
• RQ2 これらの手法はどのような正則性条件の下で（ほぼ）oracle的または漸近的に最適な性能を提供するか？
• RQ3 異なる手法は、指標（予測、L2、均一、点ごと）およびデータ構造（独立同分布、クラスタ化、パネル）間で適用性においてどのように比較されるか？
• RQ4 実装上の実務的考慮事項（実現可能性、必要な仮定、計算的課題）は何か？

主な発見

• MallowsとSteinは、予測およびL2指標で漸近的に最適な予測子を生み出す偏りのないリスク推定を提供する（Mallowsは実用的なプラグイン形で実現可能）。
• Steinの方法は非線形推定量にも拡張され、正規誤差を必要とするが、系列推定量の場合はしばしばMallowsと同一の結果をもたらす。
• Lepski法は点wise（および均一・L2への拡張可能性を含む）指標で適応と保証を提供し、適応の代償は無関心領域と選択されたα/βに依存する。
• クロスバリデーションは普遍的で実用的だが、いくつかの設定（特にLeave-one-out）では完全に効率的でない場合がある。
• ペナル化と集約はグローバルな性能保証を提供し、oracle不等式と関連づけることができる代替手段を提供する。
• 本調査は、クラスタ化／パネルデータおよび分位点回帰モデル・一般化線形モデルへの拡張にも触れ、適用範囲を広げている。