[論文レビュー] When to look at a noisy Markov chain in sequential decision making if measurements are costly?

Vikram Krishnamurthy|arXiv (Cornell University)|Aug 16, 2012

Advanced Statistical Process Monitoring参考文献 18被引用数 6

ひとこと要約

この論文は、ノイズが混在する有限状態マルコフ連鎖がターゲット状態に到達するタイミングを検出するための最適逐次サンプリング戦略を提案する。誤検出、遅延ペナルティ、高コストの測定をバランスさせる。最適方策がしきい値構造を示すことを証明しており、事後分布がターゲットから離れている間はサンプリング頻度を低く保ち、近づくと頻度を高める。ベイズフィルタリングと確率的優位性を用いて、性能とモデルパラメータへの感度の境界を導出する。

ABSTRACT

A decision maker records measurements of a finite-state Markov chain corrupted by noise. The goal is to decide when the Markov chain hits a specific target state. The decision maker can choose from a finite set of sampling intervals to pick the next time to look at the Markov chain. The aim is to optimize an objective comprising of false alarm, delay cost and cumulative measurement sampling cost. Taking more frequent measurements yields accurate estimates but incurs a higher measurement cost. Making an erroneous decision too soon incurs a false alarm penalty. Waiting too long to declare the target state incurs a delay penalty. What is the optimal sequential strategy for the decision maker? The paper shows that under reasonable conditions, the optimal strategy has the following intuitive structure: when the Bayesian estimate (posterior distribution) of the Markov chain is away from the target state, look less frequently; while if the posterior is close to the target state, look more frequently. Bounds are derived for the optimal strategy. Also the achievable optimal cost of the sequential detector as a function of transition dynamics and observation distribution is analyzed. The sensitivity of the optimal achievable cost to parameter variations is bounded in terms of the Kullback divergence. To prove the results in this paper, novel stochastic dominance results on the Bayesian filtering recursion are derived. The formulation in this paper generalizes quickest time change detection to consider optimal sampling and also yields useful results in sensor scheduling (active sensing).

研究の動機と目的

• 観測が高コストであるノイズ混在のマルコフ連鎖の逐次意思決定において、最適なサンプリング戦略を特定すること。
• 誤検出ペナルティ、遅延ペナルティ、測定コストを含む統合コスト関数を最小化すること。
• 部分的観測とサンプリング制約下での最適方策の構造を特徴づけること。
• カルバック・ライバラー情報量を用いて、モデル誤設定に対する最適コストの感度を分析すること。
• 複数のサンプリング間隔と状態依存コストを許容する古典的迅速検出の一般化すること。

提案手法

• 有限のサンプリング遅延の集合を有する部分的観測マルコフ決定過程（POMDP）として問題を定式化する。
• マルコフ連鎖の状態の事後分布を再帰的に更新するためにベイズフィルタリングを用いる。
• 異なるサンプリング行動における事後分布の単調性を分析するために、確率的優位性と尤度比順序を適用する。
• カルバック・ライバラー情報量を用いて、モデル不適合に対する感度を定量化し、最適コストの境界を導出する。
• 確率的動的計画法と下位集合性の議論を用いて、最適方策の構造的性質を確立する。
• 最適方策が事後確率に関してしきい値に基づく構造を示すことを証明する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ混在のマルコフ連鎖検出問題において、誤検出、遅延、測定コストの合計を最小化する最適サンプリング戦略は何か？
• RQ2 最適サンプリング頻度は、マルコフ連鎖状態の事後分布にどのように依存するか？
• RQ3 最適コストは遷移モデルおよび観測モデルの摂動に対してどの程度感度を示すか？
• RQ4 事後分布の確率的優位性と尤度比順序を用いて最適方策を特徴づけられるか？
• RQ5 提案された枠組みは、複数のサンプリング間隔と状態依存コストを許容することで、古典的迅速検出をどのように一般化するか？

主な発見

• 最適方策はしきい値構造を示す：事後確率がターゲット状態に近づくほど、サンプリング頻度が上昇する。
• 最適戦略は、事後分布空間におけるスイッチング曲線で特徴づけられる。事後分布がターゲット状態に近づくと、より頻繁にサンプリングする意思決定が発動する。
• 達成可能な最適コストは、モデルパrameter間のカルバック・ライバラー情報量の観点から境界づけられ、モデル不確実性への感度が定量化される。
• ベイズフィルタリング再帰の新しい確率的優位性の結果が導出され、最適方策の構造的性質を証明するために不可欠である。
• 最適コストがモデルパラメータに関してリプシッツ連続であることが示され、リプシッツ定数はカルバック・ライバラー情報量によって上限が与えられる。
• 複数のサンプリング間隔と状態依存測定コストを許容することで、古典的迅速検出を一般化する枠組みが得られ、位相型分布する変化時刻のモデル化が可能になる。