[論文レビュー] Multivariate convex regression with adaptive partitioning

Lauren A. Hannah, David B. Dunson|arXiv (Cornell University)|May 10, 2011

Statistical Methods and Inference参考文献 64被引用数 10

ひとこと要約

本稿では、適応的分割と区分的線形モデルを用いて凸性を強制する、計算的に効率的な非パrametricな多変量凸回帰手法であるConvex Adaptive Partitioning（CAP）を提案する。CAPは計算複雑度を$ olimits\mathcal{O}(n\log(n)\log(\log(n)))$に抑え、標準的最小二乗推定量の$ olimits\mathcal{O}(n^3)$に比べ顕著に性能を向上させつつ、一貫性を維持し、アメリカン・オプション評価などの高次元問題において強力な経験的性能を示す。

ABSTRACT

We propose a new, nonparametric method for multivariate regression subject to convexity or concavity constraints on the response function. Convexity constraints are common in economics, statistics, operations research, financial engineering and optimization, but there is currently no multivariate method that is computationally feasible for more than a few hundred observations. We introduce Convex Adaptive Partitioning (CAP), which creates a globally convex regression model from locally linear estimates fit on adaptively selected covariate partitions. CAP is computationally efficient, in stark contrast to current methods. The most popular method, the least squares estimator, has a computational complexity of $\mathcal{O}(n^3)$. We show that CAP has a computational complexity of $\mathcal{O}(n \log(n)\log(\log(n)))$ and also give consistency results. CAP is applied to value function approximation for pricing American basket options with a large number of underlying assets.

研究の動機と目的

• 大規模なデータセットおよび高次元にスケーリング可能な計算的に実行可能な多変量凸回帰手法の開発を目的とする。
• 数百分の観測数を超える非パrametric手法において、効率的で理論的根拠を持つ凸回帰手法の不足を解消することを目的とする。
• 高次元設定における正則化の感度や計算コストの高さに苦しむ、最小二乗法やリッジ回帰などの既存手法に対する頑健な代替手法を提供することを目的とする。
• 金融工学、オペレーションズ・リサーチ、計量経済学などの分野で形状制約が一般的な文脈において、凸回帰の実用的応用を可能とすることを目的とする。

提案手法

• CAPは、説変数空間の適応的分割領域において局所的にフィットした線形モデルの点毎最大値をとることで、グローバルに凸な回帰関数を構築する。
• アルゴリズムは、座標軸に沿って分割し、データに一致するようにハイパーハイパーフレームを再フィットさせることで、分割を適応的に精緻化する。
• 最適な分割数$K$は、一般化交差検証法により選択され、モデルの適合度と複雑さのバランスを取る。
• 凸性を強制するために、部分勾配条件を用いる：$f_0(\mathbf{x}_1) \geq f_0(\mathbf{x}_2) + g_0(\mathbf{x}_2)^T(\mathbf{x}_1 - \mathbf{x}_2)$、これにより推定関数がすべての接続超平面の上に位置することを保証する。
• 高速近似版であるFast CAPは、停止ルールを変更することで実行時間を短縮し、性能の損失を最小限に抑える。
• 最終的な推定量は$\hat{f}_n(\mathbf{x}) = \max_{k=1}^K \alpha_k + \beta_k^T \mathbf{x}$として定義され、区分的線形かつ凸関数を形成する。

実験結果

リサーチクエスチョン

• RQ1 大規模なデータセットおよび高次元問題に効率的にスケーリング可能な非パラメトリックな凸回帰手法を開発できるか？
• RQ2 一貫性と形状制約を維持する凸回帰推定量の計算複雑度は何か？
• RQ3 高次元データにおいて、CAPは最小二乗法、リッジ回帰、木ベースの手法と比較して、予測精度および実行時間の面でどのように差をつけるか？
• RQ4 局所線形フィッティングを伴う適応的分割は、一貫性があり計算的に効率的な凸回帰推定量をもたらすか？
• RQ5 CAPの高速近似版は、予測性能を損なわずに実行時間を短縮できるか？

主な発見

• CAPは計算複雑度を$\mathcal{O}(p(p+1)^2 n \log n \log \log n)$に抑え、最小二乗推定量の$\mathcal{O}((p+1)^3 n^3)$に比べ顕著な改善を示す。
• CAPは$\ell_\infty$ノルムに関して一貫性を示し、標本サイズが増加するにつれて真の凸関数に収束することが保証される。
• アメリカン・バスケット・オプション評価において、CAPおよびFast CAPは最良の下界を達成した。15資産問題では12.7%の双対ギャップを、20資産問題では8.4%を記録した。
• Fast CAPは標準CAPに比べ実行時間を1桁短縮し、大規模問題では非正則化最小二乗法と同等の実行時間となった。
• 最小二乗法およびリッジ回帰は、資産数の増加に伴い過剰適合と高い計算コストに苦しんだが、木ベースの回帰は非対称な誤差分布のため性能が低かった。
• CAPおよびFast CAPの性能は、すべてのテスト設定で安定的かつ優れており、異分散性および非対称誤差に対して頑健であることが示された。