[論文レビュー] Aggregation for Regression Learning

Florentina Bunea, Alexandre B. Tsybakov+1 more|ArXiv.org|Oct 7, 2004

Statistical Methods and Inference参考文献 37被引用数 17

ひとこと要約

本稿では、データ駆動のペナルティ（ハードスレッショルドとL1型）を用いた、普遍的な罰則付き最小二乗平均化手順を提案する。この手法は、モデル選択、凸、線形の3つの回帰平均化タイプにおいて、同時に最適な収束速度を達成する。データ駆動のペナルティにより、3つの設定すべてにおいて、可能な限り最良の性能に近づく。本手法は、単一のフレームワークで最適な平均化を統合的に実現する。

ABSTRACT

This paper studies statistical aggregation procedures in regression setting. A motivating factor is the existence of many different methods of estimation, leading to possibly competing estimators. We consider here three different types of aggregation: model selection (MS) aggregation, convex (C) aggregation and linear (L) aggregation. The objective of (MS) is to select the optimal single estimator from the list; that of (C) is to select the optimal convex combination of the given estimators; and that of (L) is to select the optimal linear combination of the given estimators. We are interested in evaluating the rates of convergence of the excess risks of the estimators obtained by these procedures. Our approach is motivated by recent minimax results in Nemirovski (2000) and Tsybakov (2003). There exist competing aggregation procedures achieving optimal convergence separately for each one of (MS), (C) and (L) cases. Since the bounds in these results are not directly comparable with each other, we suggest an alternative solution. We prove that all the three optimal bounds can be nearly achieved via a single "universal" aggregation procedure. We propose such a procedure which consists in mixing of the initial estimators with the weights obtained by penalized least squares. Two different penalities are considered: one of them is related to hard thresholding techniques, the second one is a data dependent $L_1$-type penalty. Consequently, our method can be endorsed by both the proponents of model selection and the advocates of model averaging.

研究の動機と目的

• モデル選択、凸、線形平均化という3つの回帰学習問題における最適な平均化を統一すること。
• 3つの平均化タイプすべてにおいて、ほぼ最適な過剰リスクレートを達成する、単一の普遍的手順を開発すること。
• 個別の手順の限界を克服するために、データに依存する重みを備えた統一的な罰則付き最小二乗フレームワークを導入すること。
• 一般非パラメトリック回帰設定下での提案手法のミニマックス最適性を確立すること。

提案手法

• M個の推定器の最適な重みを推定するための、罰則付き最小二乗に基づく普遍的手順を提案する。
• 2種類のペナルティを用いる：1つはハードスレッショルドに関連し、もう1つはデータ依存の正則化のためのL1型。
• 重みは、適合度と複雑さのバランスをとるための罰則付き経験的リスクを最小化するように選択される。
• この手法は、制約集合に応じて、(L)、(C)、または (MS) オラクルの性能を模倣する平均化推定量を構築する。
• 有限個の候補関数を用い、集中不等式を用いて過剰リスクを制御する。
• 過剰リスクを最適レートと剰余項の和で上界で抑えるオラクル不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 1つの平均化手順が、回帰におけるモデル選択、凸、線形平均化の3つすべてにおいて、ほぼ最適な収束速度を達成できるか？
• RQ2 異なる種類の推定量に対して最適な平均化を統一的に実現するためのペナルティ構造は何か？
• RQ3 提案された普遍的手法の性能は、従来の問題特化型平均化手順と比べてどのように異なるか？
• RQ4 一般非パラメトリック回帰モデル下での、提案手法のミニマックス収束速度は何か？
• RQ5 データに依存するペナルティは、基礎となるモデルの事前知識がなくても、異なる平均化タイプに最適に適応できるか？

主な発見

• 提案された罰則付き最小二乗手順は、モデル選択、凸、線形の3つの平均化タイプすべてにおいて、同時にほぼ最適な過剰リスクレートを達成する。
• この手法は、平均化タイプの事前知識がなくても最適レートに適応する普遍的なフレームワークを備えている。
• 過剰リスクは、最適レートに加えて、各個別問題の既知の最良レートと同程度のオーダーの剰余項で上界が与えられる。
• モデル選択平均化では、適切な条件下で、(M/n) log(M/n) のオーダーのレートを達成する。
• 線形および凸平均化では、最適レート M/n を達成し、既知のミニマックス下界と一致する。
• データに依存するL1型およびハードスレッショルドペナルティの使用により、異なる設定において適応性とミニマックス最適性が保証される。