[논문 리뷰] Controlled Sensing for Sequential Multihypothesis Testing with Controlled Markovian Observations and Non-Uniform Control Cost

Sirin Nitinawarat, Venupogal V. Veeravalli|arXiv (Cornell University)|2013. 10. 07.

Distributed Sensor Networks and Detection Algorithms인용 수 7

한 줄 요약

이 논문은 관측에 기억이 존재하고 제어 비용이 비균일한 순차적 다가설 검정을 위한 새로운 제어 가능한 마르코프 관측 모델을 제안한다. 비용 함수가 일반적인 경우에도 의사결정 위험과 제어 비용 간의 최적 균형을 달성하는 점점 최적화되는 테스트와 자가 조정 가능한 인과적 제어 정책을 도입한다. 이 정책은 각 가설 하에서 추론 보상의 최대화를 달성한다.

ABSTRACT

A new model for controlled sensing for multihypothesis testing is proposed and studied in the sequential setting. This new model, termed {\\em controlled Markovian observation} model, exhibits a more complicated memory structure in the controlled observations than existing models. In addition, instead of penalizing just the delay until the final decision time as in standard sequential hypothesis testing problems, a much more general cost structure is considered which entails accumulating the total control cost with respect to an arbitrary control cost function. An asymptotically optimal test is proposed for this new model and is shown to satisfy an {\\em optimality} condition formulated in terms of decision making risk. It is shown that the optimal causal control policy for the controlled sensing problem is self-tuning, in the sense of maximizing an inherent "inferential" reward simultaneously under every hypothesis, with the maximal value being the best possible corresponding to the case where the true hypothesis is known at the outset. Another test is also proposed to meet {\\em distinctly predefined} constraints on the various decision risks {\\em non-asymptotically,} while retaining asymptotic optimality.

연구 동기 및 목표

• 관측에 기억이 존재하는 제어 가능한 마르코프 모델을 통해 순차적 다가설 검정을 위한 새로운 제어 센싱 프레임워크를 개발한다.
• 기존의 제어 센싱 이론을 확장하여 단순한 지연 페널티를 넘어서 비균일한 제어 비용을 통합한다.
• 일반적인 비용 함수 하에서 의사결정 위험과 제어 비용 간의 균형을 맞추는 점점 최적화된 테스트를 설계한다.
• 모든 가설에서 동시에 추론 보상을 최대화하는 자가 조정 가능한 인과적 제어 정책을 특성화한다.
• 사전 정의된 위험 제약 조건을 비점근적으로 충족하면서도 점근적으로 최적성을 유지하는 테스트를 제공한다.

제안 방법

• 관측 분포가 현재 상태와 제어 입력에 모두 의존하는 제어 가능한 마르코프 관측 모델을 도입하여 i.i.D. 또는 마르코프 독립성 이외의 기억을 도입한다.
• 각 가설 하에서 최대 및 두 번째로 높은 가능도 간의 가능도 비율에 기반한 停止 규칙을 제안하며, 위험 제약 조건을 충족하기 위해 임계값을 조정한다.
• 모든 가설에서의 최소 추론 보상 최대화를 목표로 하는 자가 조정 가능한 제어 정책을 설계하며, 진짜 가설이 사전에 알려진 경우의 성능을 모방한다.
• 동적 프로그래밍 프레임워크를 사용하여 최적 정책을 유도하며, 대칭 확률 분석과 로그 모멘트 경계를 통해 점근적 최적성을 증명한다.
• 기대 제어 비용과 의사결정 위험을 유한하게 제한하기 위해 단일 임계값을 사용하는 허구의 테스트를 활용하여 점근적 최적성 분석을 가능하게 한다.
• 기대 제어 비용 per log-위험의 점근적 행동을 분석하여, 칼리브-라이블러 발산과 제어 비용을 포함하는 기본 하한선으로 수렴하는 것을 보여준다.

실험 결과

연구 질문

• RQ1 관측에 기억이 존재하는 모델, 예를 들어 제어 가능한 마르코프 과정에 대해 제어 센싱을 어떻게 확장할 수 있는가?
• RQ2 제어 비용이 비균일할 경우 의사결정 위험과 제어 비용 간의 최적 균형은 무엇인가?
• RQ3 모든 가설에서 동시에 추론 보상을 최대화하는 자가 조정 가능한 제어 정책을 설계할 수 있는가?
• RQ4 일반적인 비용 함수 하에서 사전 정의된 위험 제약 조건을 충족하면서도 점근적 최적성을 달성할 수 있는가?
• RQ5 이 새로운 모델에서 기대 제어 비용 per log-위험의 기본 한계는 무엇인가?

주요 결과

• 제안된 테스트는 의사결정 위험 측면에서 점근적으로 최적성을 달성하며, 기대 제어 비용 per log-위험은 이론적 최소값으로 수렴한다.
• 최적의 인과적 제어 정책은 자가 조정 가능하며, 모든 가설 하에서 추론 보상을 최대화한다. 이 최대값은 진짜 가설이 사전에 알려진 경우와 정확히 일치한다.
• 정지 규칙 (4.14)을 사용하는 테스트는 비점근적으로 별개의 위험 제약 조건을 충족하며, 최대 위험은 사전 정의된 임계값 이내로 제한된다.
• 단일 임계값을 사용하는 허구의 테스트와의 비교를 통해 점근적 최적성이 입증되었으며, 기대 제어 비용이 위험 임계값의 함수로 유계임을 보였다.
• 기대 제어 비용을 음의 log-위험으로 나눈 극한은 칼리브-라이블러 발산과 제어 비용을 포함하는 양으로 수렴하며, 기본 최적성의 증명이 된다.
• 분석을 통해 제어 비용 함수가 임의일 수 있으며, 일반적인 비용 구조 하에서도 이 프레임워크는 여전히 점근적으로 최적임을 확인하였다.