[논문 리뷰] When to look at a noisy Markov chain in sequential decision making if measurements are costly?

Vikram Krishnamurthy|arXiv (Cornell University)|2012. 08. 16.

Advanced Statistical Process Monitoring참고 문헌 18인용 수 6

한 줄 요약

이 논문은 측정 비용이 들고 노이즈가 있는 유한 상태 마르코프 체인이 목표 상태에 도달할 때를 탐지하기 위한 최적의 순차적 샘플링 전략을 제안한다. 이 전략은 임의의 경고, 지연 보상, 측정 비용 간의 균형을 고려한다. 최적 정책이 임계값 구조를 가짐을 증명하며, 사후 추정치가 목표 상태에서 멀리 떨어져 있을수록 샘플링 빈도를 낮추고, 가까워질수록 빈도를 높이는 방식을 취한다. 베이지안 필터링과 확률적 지배를 사용하여 성능 및 모델 파ameter에 대한 민감도에 대한 경계를 유도한다.

ABSTRACT

A decision maker records measurements of a finite-state Markov chain corrupted by noise. The goal is to decide when the Markov chain hits a specific target state. The decision maker can choose from a finite set of sampling intervals to pick the next time to look at the Markov chain. The aim is to optimize an objective comprising of false alarm, delay cost and cumulative measurement sampling cost. Taking more frequent measurements yields accurate estimates but incurs a higher measurement cost. Making an erroneous decision too soon incurs a false alarm penalty. Waiting too long to declare the target state incurs a delay penalty. What is the optimal sequential strategy for the decision maker? The paper shows that under reasonable conditions, the optimal strategy has the following intuitive structure: when the Bayesian estimate (posterior distribution) of the Markov chain is away from the target state, look less frequently; while if the posterior is close to the target state, look more frequently. Bounds are derived for the optimal strategy. Also the achievable optimal cost of the sequential detector as a function of transition dynamics and observation distribution is analyzed. The sensitivity of the optimal achievable cost to parameter variations is bounded in terms of the Kullback divergence. To prove the results in this paper, novel stochastic dominance results on the Bayesian filtering recursion are derived. The formulation in this paper generalizes quickest time change detection to consider optimal sampling and also yields useful results in sensor scheduling (active sensing).

연구 동기 및 목표

• 관측 비용이 드는 노이즈가 있는 마르코프 체인의 경우 순차적 의사결정에서 최적의 샘플링 전략을 결정하기 위해.
• 임의의 경고 보상, 지연 보상, 측정 비용을 포함하는 통합 비용 함수를 최소화하기 위해.
• 부분 관측 가능성과 샘플링 제약 조건 하에서 최적 정책의 구조를 특성화하기 위해.
• Kullback-Leibler 발산을 사용하여 모델 파ameter의 변동에 대한 최적 비용의 민감도를 분석하기 위해.
• 다중 샘플링 간격과 상태에 의존하는 비용을 允허하는 고전적 최단 탐지 기법을 일반화하기 위해.

제안 방법

• 유한한 샘플링 지연 집합을 가진 부분 관측 마르코프 결정 과정(POMDP)으로 문제를 수립한다.
• 마르코프 체인 상태의 사후 분포를 순차적으로 갱신하기 위해 베이지안 필터링을 사용한다.
• 다른 샘플링 조치에 대한 사후의 단조성 성질을 분석하기 위해 확률적 지배와 가능도 비율 순서를 적용한다.
• 모델 오Specification에 대한 민감도를 정량화하기 위해 Kullback-Leibler 발산을 사용하여 최적 비용의 경계를 도출한다.
• 스토크라스틱 동적 프로그래밍과 하위모듈라리티 논증을 활용하여 최적 정책의 구조적 성질을 확립한다.
• 최적 정책이 사후 확률에 대해 임계값 기반임을 증명하며, 목표 상태 근처에서는 더 높은 샘플링 빈도를 선호한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 마르코프 체인 탐지 문제에서 임의의 경고, 지연, 측정 비용의 합을 최소화하는 최적의 샘플링 전략은 무엇인가?
• RQ2 최적의 샘플링 빈도는 마르코프 체인 상태의 사후 분포에 어떻게 의존하는가?
• RQ3 최적 비용은 전이 모델 및 관측 모델의 변동에 대해 얼마나 민감한가?
• RQ4 사후 분포의 확률적 지배와 가능도 비율 순서를 사용하여 최적 정책을 특성화할 수 있는가?
• RQ5 제안된 프레임워크는 다중 샘플링 간격과 상태에 의존하는 비용을 허용함으로써 고전적 최단 탐지 기법을 어떻게 일반화하는가?

주요 결과

• 최적 정책은 임계값 구조를 보이며, 사후 확률이 목표 상태 근처일수록 샘플링 빈도가 증가한다.
• 최적 전략은 사후 분포 공간에서의 스위칭 커브로 특성화되며, 사후 분포가 목표 상태에 가까워질 때 샘플링 빈도를 높이는 결정이 유도된다.
• 달성 가능한 최적 비용은 모델 파ameter 간 Kullback-Leibler 발산의 관점에서 경계가 되며, 모델 불확실성에 대한 민감도를 정량화한다.
• 베이지안 필터링 재귀식에 대한 새로운 확률적 지배 결과가 도출되었으며, 이는 최적 정책의 구조적 성질을 증명하는 데 필수적이다.
• 최적 비용이 모델 파am터에 대해 Lipschitz 연속임을 입증하였으며, Lipschitz 상수는 Kullback-Leibler 발산에 의해 경계된다.
• 다중 샘플링 간격과 상태에 의존하는 측정 비용을 허용함으로써 고전적 최단 탐지 기법을 일반화한 프레임워크를 제공하며, 단계형 분포를 가진 변화 시간의 모델링이 가능해진다.