[論文レビュー] The Knowledge Gradient Policy Using A Sparse Additive Belief Model

Yan Li, Han Liu+1 more|arXiv (Cornell University)|Mar 18, 2015

Statistical Methods and Inference参考文献 34被引用数 3

ひとこと要約

本稿では、不確実性下での逐次意思決定における高次元的でスパースな加法的モデルに対して、KGSpLinおよびKGSpAMという知識勾配方策を提案する。グループリッジ回帰とベイズ推論、Bスプライン基底展開を組み合わせることで、有限の予算のもとで関連する特徴量を効率的に同定し、最適な代替案を選択する。理論的誤差率が最適であり、制御された実験において線形モデルのベースラインを上回る性能を達成する。

ABSTRACT

We propose a sequential learning policy for noisy discrete global optimization and ranking and selection (R\&S) problems with high dimensional sparse belief functions, where there are hundreds or even thousands of features, but only a small portion of these features contain explanatory power. We aim to identify the sparsity pattern and select the best alternative before the finite budget is exhausted. We derive a knowledge gradient policy for sparse linear models (KGSpLin) with group Lasso penalty. This policy is a unique and novel hybrid of Bayesian R\&S with frequentist learning. Particularly, our method naturally combines B-spline basis expansion and generalizes to the nonparametric additive model (KGSpAM) and functional ANOVA model. Theoretically, we provide the estimation error bounds of the posterior mean estimate and the functional estimate. Controlled experiments show that the algorithm efficiently learns the correct set of nonzero parameters even when the model is imbedded with hundreds of dummy parameters. Also it outperforms the knowledge gradient for a linear model.

研究の動機と目的

• 関連する特徴量が僅かである高次元的でスパースな信念モデルにおける逐次的意思決定を扱う。
• 有限の予算のもとで、最良の代替案とその背後にあるスパース構造の両方を同定する方策を開発する。
• Bスプライン近似を用いて、線形モデルからの知識勾配を非パラメトリックな加法的モデルへ一般化する。
• スパースな設定における事後平均および関数的推定値の理論的誤差バインディングを提供する。
• 数百の無関係な特徴量が存在する中でも、真のスパース構造を回復できるかを実験的に検証する。

提案手法

• 係数推定におけるグループスパース性を促進するℓ1,∞グループリッジ回帰を用いた、スパース線形モデル向けの知識勾配方策（KGSpLin）を提案する。
• 未知の滑らかな関数を表現するため、加法的モデルにおけるBスプライン基底展開を採用し、非パラメトリック推定を可能にする。
• 活性な特徴量がどのようになるかの不確実性をモデル化するため、インジケータ変数にベータ＝ベルヌーイ共役事前分布を導入する。
• テンソル積Bスプラインを用いて、KGSpLinを非パラメトリックなスパース加法的モデル（KGSpAM）および関数的ANOVAモデルへ一般化する。
• 逐次学習中に計算効率を維持するため、グループリッジ回帰最適化のためのホモトピー法を用いる。
• スパース性の仮定のもとで、事後平均および関数的推定値の理論的推定誤差バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある測定値を伴う高次元的でスパースな最適化問題において、知識勾配方策は最良の代替案を効果的に同定できるか？
• RQ2 数百の特徴量が存在する中で、真のスパース構造はどの程度回復可能か？（その多くが無関係である場合）
• RQ3 スパース加法的モデルにおける事後平均および関数的推定値の推定誤差に対して、どのような理論的保証を提供できるか？
• RQ4 グループリッジ回帰を用いたベイズ的・頻度主義的ハイブリッドアプローチは、線形モデルに対する標準的な知識勾配法よりも性能を向上させるか？
• RQ5 高次元的でスパースな信号構造を持つ制御された実験において、本手法のスケーラビリティと性能はいかがなものか？

主な発見

• 事後平均推定値の推定誤差バインディングは、O(σε² s* d̄² log p / n) である。ここで s* は真のスパース性、d̄ は1特徴量あたりの基底関数の平均数である。
• 関数的推定誤差は O(σε² log p / n²/³) でバインディングされ、最適なスパース性と基底選択のもとで収束することが示された。
• 制御された実験では、数百のダミー特徴量が埋め込まれた状態でも、アルゴリズムが正しい非ゼロパラメータ集合を正しく同定できた。
• KGSpAMは、選択の正確性およびスパース構造回復の両面で、線形モデルに対する標準的な知識勾配法を上回った。
• 理論的解析により、事後共分散行列が 1/n² の割合で収縮することが確認され、一貫性のある推定が可能であることが裏付けられた。
• 最適な基底次元 d̄ = O(n¹/⁶) をとれば、関数的推定において最小最大最適収束率 O(σε² log p / n²/³) を達成できる。