[논문 리뷰] Optimal Solutions for Adaptive Search Problems with Entropy Objectives

Hanyi Ding, David A. Castañón|arXiv (Cornell University)|2015. 08. 17.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 3

한 줄 요약

이 논문은 엔트로피 기반 목적함수를 갖는 적응형 탐색 문제를 확률적 제어 문제로 공식화하여, 볼록 최적화를 통해 최적의 센서 관리 정책을 유도한다. 단일 및 다중 센서 환경에 대한 구체적인 알고리즘을 제공하며, 최적 전략이 스칼라 볼록 프로그래밍을 통해 계산 가능하고 대칭 조건 하에서 해석적으로 도출 가능함을 보이며, 유한한 시간 간격 탐색에 대해 정확한 엔트로피 기반 비용 특성화를 제공한다.

ABSTRACT

The problem of searching for an unknown object occurs in important applications ranging from security, medicine and defense. Sensors with the capability to process information rapidly require adaptive algorithms to control their search in response to noisy observations. In this paper, we discuss classes of dynamic, adaptive search problems, and formulate the resulting sensor control problems as stochastic control problems with imperfect information, based on previous work on noisy search problems. The structure of these problems, with objective functions related to information entropy, allows for a complete characterization of the optimal strategies and the optimal cost for the resulting finite-horizon stochastic control problems. We study the problem where an individual sensor is capable of searching over multiple sub-regions in a time, and provide a constructive algorithm for determining optimal policies in real time based on convex optimization. We also study the problem in which there are multiple sensors, each of which is only capable of detecting over one sub-region in a time, jointly searching for an object. Whereas this can be viewed as a special case of our multi-region results, we show that the computation of optimal policies can be decoupled into single-sensor individual scalar convex optimization problems, and provide simple symmetry conditions where the solutions can be determined analytically. We also consider the case where individual sensors can select the accuracy of their sensing modes with different costs, and derive optimal strategies for these problems in terms of the solutions of scalar convex optimization problems. We illustrate our results with experiments using multiple sensors searching for a single object.

연구 동기 및 목표

• 노이즈가 있는 이진 관측을 갖는 센서에 대한 유한한 시간 간격, 동적 환경에서의 최적 적응형 탐색 전략을 개발하기 위해.
• 후행 엔트로피 기반 정보 이론적 목표를 갖는 센서 제어 문제를 공식화하기 위해.
• 단일 및 다중 센서 구성 모두에서 실시간 정책 계산을 가능하게 하는 볼록 최적화 기법을 활용하기 위해.
• 대칭 조건 하에서 다중 센서 탐색 문제를 독립적인 볼록 최적화 문제로 분해하여 해석적 해를 도출하기 위해.
• 변동 가능한 정확도와 비용을 갖는 감지 모드 선택을 통합하여, 볼록 프로그래밍을 통해 최적의 트레이드오프를 도출하기 위해.

제안 방법

• 유한한 시간 간격 내에서 정보가 불완전하고 엔트로피 기반 비용 함수를 갖는 적응형 탐색 문제를 유한한 시간 간격 내의 확률적 제어 문제로 공식화한다.
• 객체 위치 추정의 불확실성을 최소화하기 위해 후행 미분 엔트로피를 목적함수로 사용한다.
• 동적 프로그래밍을 통해 최적 정책을 유도하며, 가치 함수가 初기 엔트로피와 일정한 최적 이득 $ G^* $ 에 의존함을 보여준다.
• 스트릭트한 볼록성의 샤논 엔트로피를 활용하여, 최적 감지 모드 및 운영 점을 계산하기 위해 볼록 최적화를 적용한다.
• 다중 센서 시스템의 경우 대칭 조건이 성립할 때 연속된 최적화 문제를 독립적인 스칼라 볼록 프로그램으로 분해한다.
• 정보 수확량과 감지 비용 $ eta $ 를 균형 잡는 비용 가중 엔트로피 수확 함수 $ G(oldsymbol{u}, oldsymbol{l}) $ 를 도입하여 트레이드오프 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 이진 관측을 갖는 단일 센서에 대해 후행 엔트로피를 최소화하는 최적의 적응형 탐색 정책은 무엇인가?
• RQ2 엔트로피 목표 기반으로 유한한 시간 간격 탐색에서 실시간으로 최적 센서 관리 정책을 계산할 수 있는가?
• RQ3 대칭 조건 하에서 다중 센서 탐색 문제를 독립적인 최적화 문제로 분해할 수 있는가?
• RQ4 적응형 탐색에서 감지 정확도, 비용, 정보 수확량 간의 최적 트레이드오프는 무엇인가?
• RQ5 최적의 비용 구조는 엔트로피 감소와 감지 모드 선택과 어떻게 관련이 있는가?

주요 결과

• 유한한 시간 간격 탐색의 최적 비용은 $ V(p_n, n) = H(p_n) - (N - n)G^* $ 로 주어지며, 여기서 $ G^* $ 는 단계당 최대 정보 수확량이다.
• 최적 전략은 연속된 감지 모드 $ oldsymbol{A}_{n+1} $ 와 운영 점 $ oldsymbol{l}_{n+1} $ 가 최적의 $ (oldsymbol{u}^*, oldsymbol{l}^*) $ 를 달성할 때 도달된다. 이는 $ G(oldsymbol{u}, oldsymbol{l}) $ 를 최대화하는 조건이다.
• 대칭적인 다중 센서 시스템의 경우 $ G^* = igoplus_{m=1}^M G^{(m)*} $ 로 표현되며, 각 센서의 독립적 최적화를 통해 최적 정책을 분리하여 계산할 수 있다.
• 최적의 연속 감지 모드는 근사 분포의 곱으로 구성될 수 있으며, $ ar{u}_{i_{1:M}} = igotimes_{m=1}^M (u^{(m)*})^{i_m}(1 - u^{(m)*})^{1-i_m} $ 로 표현되며, 이때 $ G^* = igoplus_{m=1}^M G^{(m)*} $ 를 달성한다.
• 센서가 관련 비용을 수반하는 감지 정확도를 선택할 수 있을 경우, 최적 전략은 비용 가중 수확 함수 $ G(oldsymbol{u}, oldsymbol{l}) $ 의 스칼라 볼록 최적화를 통해 도출된다.
• 논문은 최적 정책가 존재하며, 볼록 프로그래밍을 통해 실시간으로 계산 가능하다는 것을 입증하였으며, 계산이 곤란한 동적 프로그래밍을 피할 수 있음을 보였다.