[論文レビュー] Bayesian nonparametric multivariate convex regression

Lauren A. Hannah, David B. Dunson|arXiv (Cornell University)|Sep 1, 2011

Markov Chains and Monte Carlo Methods参考文献 32被引用数 23

ひとこと要約

本稿では、回帰関数をランダムな超平面の集合の点ごとの最大値としてモデル化することにより、多変量凸回帰のためのベイジアン非パラメトリック手法を提案する。これにより、確率的凸性が保証される。この手法は、後部計算のための可逆ジャンプMCMCアルゴリズムを用い、真の関数が$d$次元部分空間上にある場合、経験的$L_2$ノルム下で収束速度$ olimits\log(n)^{-1}n^{-1/(d+2)}$を達成する。

ABSTRACT

In many applications, such as economics, operations research and reinforcement learning, one often needs to estimate a multivariate regression function f subject to a convexity constraint. For example, in sequential decision processes the value of a state under optimal subsequent decisions may be known to be convex or concave. We propose a new Bayesian nonparametric multivariate approach based on characterizing the unknown regression function as the max of a random collection of unknown hyperplanes. This specification induces a prior with large support in a Kullback-Leibler sense on the space of convex functions, while also leading to strong posterior consistency. Although we assume that f is defined over R^p, we show that this model has a convergence rate of log(n)^{-1} n^{-1/(d+2)} under the empirical L2 norm when f actually maps a d dimensional linear subspace to R. We design an efficient reversible jump MCMC algorithm for posterior computation and demonstrate the methods through application to value function approximation.

研究の動機と目的

• スケーラブルで理論的裏付けのある多変量凸回帰のためのベイジアン手法の不足を補う。
• 最小二乗推定器やカーネルベースの手法といった既存の凸回帰手法の限界を克服し、効率的な後部計算と強い理論的一貫性を実現する。
• 大きなモデル空間をサポートし、強い後部一貫性を達成できる、凸関数上の柔軟な非パラメトリック事前分布を構築する。
• 価値関数が凸であることが知られている強化学習やオペレーションズリサーチの分野において、高次元および大規模データセットへの応用を可能にする。
• 可逆ジャンプMCMCと適応的超平面追加／削除戦略を用いて、モデルの計算可能性を維持する。

提案手法

• 未知の回帰関数$f$を、ランダムな超平面の集合の点ごとの最大値としてモデル化する：$f(\mathbf{x}) = \max_{k=1}^K (\alpha_k + \beta_k^T \mathbf{x})$。これにより、ほとんど確実な凸性が保証される。
• 超平面の数$K$およびそのパラメータ$\alpha_k, \beta_k$に対する事前分布を定義し、関数が構成上凸であるように制約を課す。
• 超平面の追加、削除、再配置を含むモデル空間を共同で探索するため、可逆ジャンプマルコフ連鎖モンテカルロ（RJMCMC）アルゴリズムを用いる。
• RJMCMCの提案分布を、データ駆動の分割に基づいて設計する：再配置の場合は現在の超平面の割り当てを、削除および追加の場合はアクティブな超平面に基づく混合提案を用いる。
• 追加の際には、$M$個の線形結合と$L$個のノードを用いて、既存の超平面領域をランダムまたは座標に沿った方向に分割することで、候補分割を生成する。
• 分割がバランスの取れたものになるように、提案重みを高く設定する。$p_b(j,\ell,m) \propto n_{j^-}^{j,\ell,m} n_{j^+}^{j,\ell,m}$を用い、混合性と効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 計算可能性を保ちつつ、ほとんど確実な凸性を保証するベイジアン非パラメトリックモデルを構築できるか？
• RQ2 真の関数が低次元部分空間上にある場合、そのモデルの後部一貫性および収束速度は何か？
• RQ3 モデル次元（超平面数）が変動し、複雑な状態空間を持つモデルに対して、効率的な可逆ジャンプMCMCサンプリングをどのように設計できるか？
• RQ4 高次元または大規模データに対して、スケーラビリティおよび予測精度の面で、既存の凸回帰手法を凌駆できるか？
• RQ5 超平面の最大値をとる事前分布を用いることで、$L_1$一貫性や最適収束速度といった強い理論的保証が得られるか？

主な発見

• 提案された多変量ベイジアン凸回帰（MBCR）モデルは、凸関数の空間に大きなKullback-Leiblerサポートを持つ事前分布を誘導する。
• この手法は$L_1$ノルムにおいて強い後部一貫性を達成し、後部が真の凸関数の周囲に集中することを保証する。
• 真の回帰関数$f$が$d$次元線形部分空間から$\mathbb{R}$への写像である場合、MBCRモデルは経験的$L_2$ノルム下で収束速度$\log(n)^{-1}n^{-1/(d+2)}$を達成する。
• 可逆ジャンプMCMCアルゴリズムは、超平面の追加、削除、再配置のための適応的提案分布を用いることで、状態空間を効率的に探索する。
• 追加の提案メカニズムは、2つの部分集合のサイズの積に比例する重みを用いて、バランスの取れた分割を優先し、混合性と収束性を向上させる。
• 実験的結果は、特に凸性が既知の構造制約である強化学習の文脈において、価値関数近似の有効性を示している。