[論文レビュー] Optimal Policies for Observing Time Series and Related Restless Bandit Problems

Christopher R. Dance, Tomi Silander|arXiv (Cornell University)|Mar 29, 2017

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本稿は、観測にコストがかかる線形二次ガウス制御問題のクラスに対して、時系列の観測における最適方策が閾値方策であることを証明している：後験分散が臨界閾値を上回る場合にのみ観測を行う。この結果は、活発なバンディット問題へと拡張され、明確に定義されたウィットル指数の存在が確立され、新規の検証定理および機械的語と非線形力学との関連に依拠している。

ABSTRACT

The trade-off between the cost of acquiring and processing data, and uncertainty due to a lack of data is fundamental in machine learning. A basic instance of this trade-off is the problem of deciding when to make noisy and costly observations of a discrete-time Gaussian random walk, so as to minimise the posterior variance plus observation costs. We present the first proof that a simple policy, which observes when the posterior variance exceeds a threshold, is optimal for this problem. The proof generalises to a wide range of cost functions other than the posterior variance. This result implies that optimal policies for linear-quadratic-Gaussian control with costly observations have a threshold structure. It also implies that the restless bandit problem of observing multiple such time series, has a well-defined Whittle index. We discuss computation of that index, give closed-form formulae for it, and compare the performance of the associated index policy with heuristic policies. The proof is based on a new verification theorem that demonstrates threshold structure for Markov decision processes, and on the relation between binary sequences known as mechanical words and the dynamics of discontinuous nonlinear maps, which frequently arise in physics, control and biology.

研究の動機と目的

• スカラー・ガウス時系列におけるコストがかかるノイズの多い観測の下で、後験分散と観測コストの和を最小化する閾値ベースの観測方策の最適性を確立すること。
• 観測にコストがかかる線形二次ガウス（LQG）制御問題にこの結果を拡張し、最適方策における閾値構造を証明すること。
• 複数のこのような時系列を観測する活発なバンディット問題が、明確に定義されたウィットル指数を有することを示すこと。
• ウィットル指数の閉形式表現を提供し、ヒューリスティック法と比較して関連するインデックス方策の性能を評価すること。

提案手法

• 最適方策における閾値構造を証明するため、マコフ決定過程のための新しい検証定理を構築する。
• 不連続非線形写像の力学と、物理学および制御理論で生じる二進列（機械的語）との関連を用いる。
• カルマンフィルタを用いて、異なる観測行動下での後験平均および後験分散の遷移をモデル化する。
• モビウス変換を用いて、後験分散に関する決定的動的計画問題に観測制御問題を還元する。
• 特定のコスト関数の下で動的計画問題を解くことにより、ウィットル指数の閉形式表現を導出する。
• LQG制御における制御および観測部分問題の分離を図るため、$ V(x,v) = Rx^2 + Rv + g(v) $ の形の試行解を用いる。

実験結果

リサーチクエスチョン

• RQ1 ガウス時系列において、後験分散と観測コストの和を最小化するための閾値方策が最適となる条件は何か？
• RQ2 観測にコストがかかるLQG制御の最適方策は、後験分散に関して閾値構造を示すか？
• RQ3 複数のこのような時系列を観測する活発なバンディット問題は、ウィットル指数によって解けるか？もし可能であれば、閉形式で計算可能か？
• RQ4 シミュレーションにおいて、インデックス方策の性能はヒューリスティック法と比べてどうか？

主な発見

• 後験分散が臨界閾値を上回る場合にのみ観測を行う閾値方策が、後験分散と観測コストの和を最小化する最適方策である。
• 観測にコストがかかるLQG制御の最適方策は、後験分散に関する閾値方策と線形フィードバック制御則の組み合わせである。
• 複数の時系列を観測する活発なバンディット問題のウィットル指数は、明確に定義されており、導出された動的計画問題を用いて閉形式で計算可能である。
• ウィットル指数は、$ A, B, D, F, \Sigma_Y(a), c(a) $ および $ \beta $ を含むシステムパラメータの関数として明示的に導出されている。
• インデックス方策の性能は、数値比較によってヒューリスティック法を上回ることが示された。
• 証明は、新規の検証定理に依拠しており、最適制御の文脈において、機械的語と不連続非線形写像の力学との間の深い関係を確立している。