[論文レビュー] Hyper-sparse optimal aggregation

Stéphane Gaïffas, Guillaume Lecué|ArXiv.org|Dec 8, 2009

Face and Expression Recognition参考文献 34被引用数 9

ひとこと要約

本稿では、関数辞書からたった2つの非ゼロ係数のみを用いて最適な予測リスクを達成するハイパースパース最適集約法を導入し、最適性を達成するために必要な最小数が2であることを証明する。この2要素の集約に対して正確なオラクル不等式を確立し、非等方的Besov空間上での適応型推定量の構築に応用することで、滑らかさパラメータの事前知識なしに最小最大レートを達成する。

ABSTRACT

In this paper, we consider the problem of "hyper-sparse aggregation". Namely, given a dictionary $F = \{f_1, ..., f_M \}$ of functions, we look for an optimal aggregation algorithm that writes $ ilde f = \sum_{j=1}^M θ_j f_j$ with as many zero coefficients $θ_j$ as possible. This problem is of particular interest when $F$ contains many irrelevant functions that should not appear in $ ilde{f}$. We provide an exact oracle inequality for $ ilde f$, where only two coefficients are non-zero, that entails $ ilde f$ to be an optimal aggregation algorithm. Since selectors are suboptimal aggregation procedures, this proves that 2 is the minimal number of elements of $F$ required for the construction of an optimal aggregation procedures in every situations. A simulated example of this algorithm is proposed on a dictionary obtained using LARS, for the problem of selection of the regularization parameter of the LASSO. We also give an example of use of aggregation to achieve minimax adaptation over anisotropic Besov spaces, which was not previously known in minimax theory (in regression on a random design).

研究の動機と目的

• 集約における非ゼロ係数の数を最小限に抑える一方で最適性を維持するスパース集約手順を開発すること。
• 最適集約のために2つの非ゼロ係数が十分であることを証明し、最適性のためのスパースネスの下界を確立すること。
• ハイパースパース集約を用いて非等方的Besov空間上での適応型推定量を構築し、滑らかさパラメータの事前知識なしに最小最大レートを達成すること。
• 幾何的議論を用いて、経験的リスク最小化選択子の非最適性を再証明すること。
• 2係数集約に対する正確なオラクル不等式を確立し、最適なリスクバウンドを保証すること。

提案手法

• 辞書から2つの関数のみを用いた凸結合として集約を構築するハイパースパース集約手順を提案する。
• 2係数集約に対する正確なオラクル不等式を導出し、高い確率で最適な予測リスクを達成できることを示す。
• 経験過程理論と埋め込み作用素のエントロピー数を用いて関数族の複雑さを制御する。
• オラクル不等式をペナルティ付き経験的リスク最小化（PERM）に応用し、適応型推定量を構築する。
• MendelsonおよびNeeman（2009）の正則化学習に関する結果を用い、集約フレームワークと最小最大適応性を結びつける。
• 非等方的Besov空間の埋め込みとエントロピー評価（Triebel, 2006の定理9による）を用いて、集約フレームワークの条件(Cβ)を検証する。

実験結果

リサーチクエスチョン

• RQ1 関数辞書からたった2つの非ゼロ係数のみを用いて最適な集約手順を構築できるか？
• RQ2 スパース集約法を用いて非等方的Besov空間上での最小最大適応性を達成できるか？
• RQ3 なぜ経験的リスク最小化（選択子）は最適集約よりも非最適なのか？
• RQ4 最適集約手順を達成するために必要な辞書要素の最小数は何か？
• RQ5 Besov空間埋め込みのエントロピー数をどのように用いて、スパース集約におけるオラクル不等式を導出できるか？

主な発見

• 2係数集約に対して正確なオラクル不等式を確立し、高い確率で最適な予測リスクを達成できることを証明した。
• すべての設定において、最適集約手順を達成するために必要な非ゼロ係数の最小数が2であることが証明された。
• ハイパースパース集約はリスクの観点で選択子（ERM）を上回り、経験的リスク最小化の非最適性を確認した。
• 本手法により、滑らかさパラメータの事前知識なしに非等方的Besov空間上での最小最大適応性が達成され、最適レートを達成した。
• 非等方的Besov空間のエントロピー評価（定理9による）により、条件(Cβ)が検証され、オラクル不等式の適用が可能になった。
• フレームワークは、ペナルティ付き経験的リスク最小化を用いて適応型推定量を効果的に構築し、確率的設計回帰における最小最大最適性を達成した。