[論文レビュー] Sequential Design of Experiments via Linear Programming

Sudipto Guha, Kamesh Munagala|arXiv (Cornell University)|May 17, 2008

Advanced Multi-Objective Optimization Algorithms参考文献 43被引用数 9

ひとこと要約

本稿では、確率的パッキングに基づく新しい線形計画法の丸め技術を用いて、探索コストがかかる逐次的実験設計のための、初めての多項式時間定数近似アルゴリズムを提示する。この手法は、ベイジアンマルチアームバンディット問題における設定コストと凹関数型利得を伴う将来の利用価値最適化において、ほぼ最適な性能を達成し、センサーネットワークやデータ収集に適した逐次的かつ再訪問を伴わない探索方針を保証する。

ABSTRACT

The celebrated multi-armed bandit problem in decision theory models the basic trade-off between exploration, or learning about the state of a system, and exploitation, or utilizing the system. In this paper we study the variant of the multi-armed bandit problem where the exploration phase involves costly experiments and occurs before the exploitation phase; and where each play of an arm during the exploration phase updates a prior belief about the arm. The problem of finding an inexpensive exploration strategy to optimize a certain exploitation objective is NP-Hard even when a single play reveals all information about an arm, and all exploration steps cost the same. We provide the first polynomial time constant-factor approximation algorithm for this class of problems. We show that this framework also generalizes several problems of interest studied in the context of data acquisition in sensor networks. Our analyses also extends to switching and setup costs, and to concave utility objectives. Our solution approach is via a novel linear program rounding technique based on stochastic packing. In addition to yielding exploration policies whose performance is within a small constant factor of the adaptive optimal policy, a nice feature of this approach is that the resulting policies explore the arms sequentially without revisiting any arm. Sequentiality is a well-studied concept in decision theory, and is very desirable in domains where multiple explorations can be conducted in parallel, for instance, in the sensor network context.

研究の動機と目的

• ベイジアンマルチアームバンディット問題における探索コストと事前信念を伴う逐次的実験設計の計算困難性に対処する。
• 探索が報酬獲得の前に先行する状況において、将来の利用価値を最適化する多項式時間近似アルゴリズムを開発する。
• スイッチング／設定コストとセンサーネットワークやデータ収集に関連する凹関数型目的関数を含めるために、フレームワークを一般化する。
• 並列実験が可能である実世界のシステムにおいて実用的である、逐次的かつ再訪問を伴わない探索方針を保証する。
• 逐次的方針が完全に適応的戦略に比べてほぼ最適な性能を達成できることを示す、定数因子の適応性ギャップを確立する。

提案手法

• ベイズの定理に従う期待報酬、コスト、信念更新を捉える線形計画法（LP）として問題を定式化する。
• 確率的パッキングに基づく新しいLP丸め技術を用いて、分数解を実行可能な探索方針に変換する。
• 予算、設定コスト、探索コストを含む複合コスト指標と期待報酬の比に基づき、アームの優先順位を決定するグリーディー順序ヒューリスティックを設計する。
• 2つの方針を導入する：GreedyOrder（実行中に予算制約を尊重）とGreedyViolate（解析が簡単で、最終的にのみ予算を超過）。
• 価値関数のサーミンググレート性を活用してGreedyOrderとGreedyViolateを比較し、最終的な重みをスケーリングダウンしても損失が有界であることを保証する。
• 最終的なスケーリングステップ（要因2）を適用してGreedyOrderの実行可能性を保証し、凹関数型目的関数において最適解の少なくとも1/8の期待値を維持する。

実験結果

リサーチクエスチョン

• RQ1 探索コストと設定コストを伴う逐次的実験設計のための多項式時間近似アルゴリズムを設計できるか？
• RQ2 ベイジアン事前分布のもとで、将来の利用価値目的関数に対する逐次的方針の達成可能な最高の近似比は何か？
• RQ3 適応的最適方針と比較して、逐次的かつ再訪問を伴わない方針の性能は、適応性ギャップの観点からどの程度か？
• RQ4 このフレームワークは、凹関数型利得関数とスイッチングコストを扱えるように拡張可能か？
• RQ5 このクラスの問題における最適方針設計問題はNP困難であり得るか？ もしそうであれば、定数因子近似は達成可能か？

主な発見

• 提案されたアルゴリズムは、凹関数型目的関数に対して、最適解の少なくとも $\frac{OPT}{8}(1 - \epsilon)$ の期待値を達成し、定数因子近似保証を有する。
• GreedyViolate方針は、コストを最大 $C + c_{\text{max}}$ に抑え、最適解の $\frac{OPT}{4}(1 - \epsilon)$ の期待値を達成する。これは強力な解析的基準を提供する。
• GreedyOrder方針は、並列実験が可能なセンサーネットワークなどの応用分野において極めて望ましい逐次的かつ再訪問を伴わない探索を保証する。
• 確率的パッキングに基づくLP丸め技術により、問題がNP困難であるにもかかわらず、定数因子近似が可能である。
• 適応性ギャップは定数因子で有界であり、逐次的方針が完全に適応的戦略に近い性能を達成できることを示している。
• フレームワークはスイッチングコストと設定コストを扱えるように一般化され、凹関数型利得関数へも拡張可能であり、実世界のデータ収集問題への適用範囲を広げている。