[論文レビュー] Linear programming problems for frontier estimation

Guillaume Bouchard, Stéphane Girard+2 more|arXiv (Cornell University)|Mar 30, 2011

Advanced Statistical Methods and Models被引用数 6

ひとこと要約

本稿では、線形計画法を用いたカーネルスムージングにより、すべての標本点をカバーする一方でサポート領域を最小化する新しいフロンティア推定手法を提案する。この手法は、$L_1$ノルムにおける確実な収束を示し、収束速度は$O(\sqrt{\log N / (Nh)})$である。また、解はスパースであり、非ゼロ係数が少ないため、サポートベクターとして機能する。

ABSTRACT

We propose new estimates for the frontier of a set of points. They are defined as kernel estimates covering all the points and whose associated support is of smallest surface. The estimates are written as linear combinatio- ns of kernel functions applied to the points of the sample. The coefficients of the linear combination are then computed by solving a linear programming problem. In the general case, the solution of the optimizat- ion problem is sparse, that is, only a few coefficients are non zero. The corresponding points play the role of support vectors in the statistical learning theory. The L_1 error between the estimated and the true frontiers is shown to be almost surely converging to zero, and the rate of convergence is provided. The behaviour of the estimates on finite sample situations is illustrated on some simulations.

研究の動機と目的

• すべての観測データ点をカバーする一方で、推定されたサポート領域の面積を最小化する新しい非パラメトリックなフロンティア推定量を開発すること。
• 一般条件のもとで、推定量の$L_1$ノルムにおける理論的一貫性を確立すること。
• 統計学習理論におけるサポートベクターマシンと類似する、スパース最適化との関連をフロンティア推定問題に結びつけること。
• 推定されたフロンティアと真のフロンティアの間の$L_1$誤差の確実な収束速度を提供すること。
• シミュレーションを用いて、既存の手法と比較することで、本手法の有限標本における性能を示すこと。

提案手法

• フロンティア推定量は、標本点を中心としたカーネル関数の線形結合として定義される：$\tilde{f}_N(x) = \sum_{i=1}^N \alpha_i K_h(x - X_i)$、ここで$K_h(\cdot)$はバンド幅$h$をもつカーネル関数である。
• 係数$\alpha_i$は、すべての$x$およびすべての標本点がカバーされる条件$\sum \alpha_i K_h(x - X_i) \geq f(x)$の下で、合計質量$\sum \alpha_i$を最小化する線形計画問題を解くことで算出される。
• 最適化問題によりスパarsityが保証され、非ゼロとなる$\alpha_i$の少数が、フロンティアを定義するサポートベクターに対応する。
• 強大数法則とベルンシュタイン型不等式を用いて、経験的カーネル和の期待値からの逸脱を制御する。
• 理論的分析では、集中不等式およびカーネルと推定量のリプシッツ連続性を用いて収束速度を導出する。
• 本手法は、任意の入力集合$E$および$S = \{(x,y): x \in E, 0 \leq y \leq f(x)\}$に対して一般化可能であり、$[0,1] \times [0,f(x)]$に制限されない。

実験結果

リサーチクエスチョン

• RQ1 すべての標本点をカバーする一方で、推定されたサポート領域の面積を最小化するフロンティア推定量を構築できるか？
• RQ2 推定されたフロンティアと真のフロンティアの間の$L_1$誤差の確実な収束速度は何か？
• RQ3 解のスパarsity（非ゼロ係数の数）は、推定量の性能および解釈性にどのように影響するか？
• RQ4 フロンティア関数$f$に弱い正則性仮定を課した場合でも、推定量の一貫性を示せるか？
• RQ5 データ包絡線分析（DEA）やカーネルベースのスムージングといった既存手法と比較して、本手法の収束性および有限標本挙動はどのように異なるか？

主な発見

• 推定フロンティア$\tilde{f}_N$と真のフロンティア$f$の間の$L_1$誤差は、確実にゼロに収束し、収束速度は$O(\sqrt{\log N / (Nh)})$である。
• 線形計画問題の解はスパースである：非ゼロ係数$\alpha_i$の数は非常に少なく、$N$に関して対数的にしか増加しない。
• 推定量は一様一貫性を有する：ほとんどすべての$\omega$に対して、十分に大きな$N$およびすべての$x \in (0,1)$に対して、$\tilde{f}_N(x) \geq f(x) - O(\sqrt{\log N / (Nh)})$が成り立つ。
• 推定量のリプシッツ定数は$O(1/h)$で有界であり、これはバンド幅$h$およびカーネルの性質によって制御される滑らかさを保証する。
• 理論的境界は、カーネルの有界 Variation およびモーメント条件に基づき、経験的カーネル和にベルンシュタイン不等式を適用することで得られる。
• カーネルがリプシッツ的性質$|K'(t)| \leq \mu K(t)$を満たす限り、本手法はカーネルの選択に対してロバストである。これは、カーネル値に対する導関数の増加が有界であることを保証する。