[論文レビュー] Knowledge Gradient for Selection with Covariates: Consistency and Computation

Liang Ding, L. Jeff Hong+2 more|arXiv (Cornell University)|Jun 12, 2019

Advanced Bandit Algorithms Research参考文献 30被引用数 5

ひとこと要約

本稿は、入力の共変数に応じて最良の代替案が変化するランク付けと選択のための統合知識勾配（IKG）方策を提案する。この方策は、サンプリング予算が増大するにつれて真の最良代替案をほとんど確実に特定することを理論的に保証しており、異分散性のあるノイズと変動するサンプリングコストに対しても、計算を効率的に行うための確率的勾配上昇アルゴリズムを導入している。

ABSTRACT

Knowledge gradient is a design principle for developing Bayesian sequential sampling policies to solve optimization problems. In this paper we consider the ranking and selection problem in the presence of covariates, where the best alternative is not universal but depends on the covariates. In this context, we prove that under minimal assumptions, the sampling policy based on knowledge gradient is consistent, in the sense that following the policy the best alternative as a function of the covariates will be identified almost surely as the number of samples grows. We also propose a stochastic gradient ascent algorithm for computing the sampling policy and demonstrate its performance via numerical experiments.

研究の動機と目的

• サンプリングが高価でノイズが多い状況において、性能が共変数に依存する最適化問題における最良代替案の選択という課題に対処すること。
• 知識勾配原理を、シミュレーションや実世界の応用で一般的な異分散性のあるサンプリングノイズと非一様なサンプリングコストに対応できるように拡張すること。
• IKG方策の一貫性を理論的に確立する：サンプリング予算が増大するにつれて、任意の共変数値に対して真の最良代替案をほとんど確実に特定する。
• 各反復でネストされた最適化問題を解かずに済む、計算的に効率的な変種、準-IKG（quasi-IKG）を開発すること。これにより、高次元の共変数に対してもスケーラビリティを確保できる。
• 数値実験とクリギングを用いた推定手順を通じて、サンプリング分散の不確実性下でも手法の頑健性を示すこと。

提案手法

• サンプリングノイズの分散と場所依存のサンプリングコストの両方を考慮した、コスト調整付き期待情報量の増加を最大化する統合知識勾配（IKG）方策を提案する。
• 代替案の性能に関する事後平均と分散を関数としてI-KG基準を定式化し、サンプリングコストとノイズ分散を調整することで、逐次的サンプリング意思決定を支援する。
• 計算コストが高くなるサンプル平均近似（SAA）法に代わって、IKG最適化問題の近似解を得るための確率的勾配上昇（SGA）アルゴリズムを導入する。
• 共変数空間全体におけるサンプリング分散の表面を推定するために、パラメータが既知または推定済みのガウス過程として扱う、通常のクリギングを用いる。
• 各反復における共変数に関する内側の最大化を回避するため、固定された共変数サンプル集合を用いて期待改善度を近似する、準-IKG（quasi-IKG）バージョンを実装する。
• 真の分散が不明な場合に、クリギングモデルのサンプリング分散推定を補正するために最尤推定（MLE）を適用する。

実験結果

リサーチクエスチョン

• RQ1 サンプリング予算が無限大に達するとき、共変数の関数としてIKG方策は真の最良代替案を一貫して特定するか？
• RQ2 既存の手法と比較して、異分散性のあるサンプリングノイズと非一様なサンプリングコストの下で、IKG方策はどの程度の性能を示すか？
• RQ3 ネストされた最適化問題を解かずに、確率的勾配上昇（SGA）アルゴリズムがIKG方策を効果的かつ効率的に近似できるか？
• RQ4 サンプリング分散表面の推定誤差に対して、IKG方策の性能はどの程度感度を示すか？
• RQ5 特に高次元の共変数空間において、IKG方策の計算スケーラビリティはどの程度か？

主な発見

• IKG方策は理論的に一貫性を持つ：サンプリング予算が増大するにつれて、任意の共変数値に対して選択された代替案はほとんど確実に真の最良代替案に収束する。
• SAA法と比較して、SGAに基づくIKG手法は共変数次元の増加に伴いはるかに良好にスケーリングされ、計算時間の増加がはるかに遅い。
• 準-IKG（quasi-IKG）バージョンは、高価な内側最適化を回避しながら、完全なIKGと同等の性能を達成しており、高次元問題において実用的である。
• クリギングを用いたサンプリング分散の推定は性能にわずかな影響しか与えず、実世界の状況における推定誤差に対する頑健性を示している。
• 数値実験では、サンプリング分散を推定した場合でも、IKG方策の機会的コストは低く保たれ、近似的に最適な水準に収束することが示された。
• SGAに基づくIKGの計算コストは次元に対して準二次的（sub-quadratic）に増加し、SAA法に比べて計算時間の増加がはるかに緩やかである。