[論文レビュー] Optimal Solutions for Adaptive Search Problems with Entropy Objectives

Hanyi Ding, David A. Castañón|arXiv (Cornell University)|Aug 17, 2015

Advanced Bandit Algorithms Research参考文献 32被引用数 3

ひとこと要約

この論文は、エントロピーに基づく目的関数を用いた適応的探索問題を確率的制御問題として定式化し、凸最適化を用いて最適なセンサ管理方策を導出する。単一および複数センサ設定における構成可能なアルゴリズムを提供し、最適戦略がスカラの凸計画問題として、かつ対称性のもとで解析的に計算可能であることを示し、有限時間枠でのエントロピーに基づくコストの正確な特徴付けを提示する。

ABSTRACT

The problem of searching for an unknown object occurs in important applications ranging from security, medicine and defense. Sensors with the capability to process information rapidly require adaptive algorithms to control their search in response to noisy observations. In this paper, we discuss classes of dynamic, adaptive search problems, and formulate the resulting sensor control problems as stochastic control problems with imperfect information, based on previous work on noisy search problems. The structure of these problems, with objective functions related to information entropy, allows for a complete characterization of the optimal strategies and the optimal cost for the resulting finite-horizon stochastic control problems. We study the problem where an individual sensor is capable of searching over multiple sub-regions in a time, and provide a constructive algorithm for determining optimal policies in real time based on convex optimization. We also study the problem in which there are multiple sensors, each of which is only capable of detecting over one sub-region in a time, jointly searching for an object. Whereas this can be viewed as a special case of our multi-region results, we show that the computation of optimal policies can be decoupled into single-sensor individual scalar convex optimization problems, and provide simple symmetry conditions where the solutions can be determined analytically. We also consider the case where individual sensors can select the accuracy of their sensing modes with different costs, and derive optimal strategies for these problems in terms of the solutions of scalar convex optimization problems. We illustrate our results with experiments using multiple sensors searching for a single object.

研究の動機と目的

• ノイズのある二値観測を持つセンサを用いた動的で有限時間枠の設定において、最適な適応的探索戦略を開発すること。
• 事後エントロピーに基づく情報理論的目的関数を用いて、センサ制御を確率的制御問題として定式化すること。
• 単一および複数センサ構成において、リアルタイムでの方策計算を可能にする凸最適化技術の適用。
• 対称性の条件下で、複数センサ探索を個々の凸最適化問題に分離可能とし、解析的解法の実現。
• 変動する精度とコストを有するセンシングモード選択を統合し、凸プログラミングを用いて最適なトレードオフを導出すること。

提案手法

• 有限時間枠の確率的制御問題として、不完全な情報とエントロピーに基づくコスト関数を用いた適応的探索問題を定式化する。
• 物体の局在化における不確実性を最小化する目的として、事後微分エントロピーを用いる。
• 動的計画法を用いて最適方策を導出し、価値関数が初期エントロピーと定数の最適ゲイン $ G^* $ に依存することを示す。
• スカラの凸最適化を用いて最適なセンシングモードと作動点を計算し、シャノンエントロピーの厳密な凹性を活用する。
• 複数センサ系においては、対称性の条件が成立する場合に、連合最適化問題を独立したスカラの凸計画問題に分解する。
• 情報ゲインとセンシングコスト $ eta $ のバランスを取るためのコスト重み付きエントロピー・ゲイン関数 $ G(oldsymbol{u}, oldsymbol{l}) $ を導入し、トレードオフ最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある二値観測を持つ単一センサに対して、事後エントロピーを最小化する最適な適応的探索方策は何か？
• RQ2 有限時間枠探索において、エントロピー目的関数のもとで、最適なセンサ管理方策をリアルタイムに計算する方法は何か？
• RQ3 対称性の条件下で、複数センサ探索問題を独立した最適化問題に分解できるか？
• RQ4 適応的探索において、センシング精度、コスト、情報ゲインの最適なトレードオフは何か？
• RQ5 最適コスト構造は、エントロピーの低減とセンシングモード選択とどのように関連しているか？

主な発見

• 有限時間枠探索の最適コストは $ V(p_n, n) = H(p_n) - (N - n)G^* $ で与えられ、ここで $ G^* $ は1ステップあたりの最大情報ゲインである。
• 最適戦略は、連合センシングモード $ oldsymbol{A}_{n+1} $ と作動点 $ oldsymbol{l}_{n+1} $ が最適な $ (oldsymbol{u}^*, oldsymbol{l}^*) $ を達成した場合に達成される。
• 対称的複数センサ系では、$ G^* = igoplus_{m=1}^M G^{(m)*} $ となり、個々のセンサ最適化により分離可能な最適方策の計算が可能になる。
• 最適な連合センシングモードは、周辺分布の積 $ ar{u}_{i_{1:M}} = igotimes_{m=1}^M (u^{(m)*})^{i_m}(1 - u^{(m)*})^{1-i_m} $ として構築可能であり、$ G^* = igoplus_{m=1}^M G^{(m)*} $ を達成する。
• センサが関連コストを伴う精度を自由に選べる場合、最適戦略はコスト重み付きゲイン $ G(oldsymbol{u}, oldsymbol{l}) $ のスカラ凸最適化から導出可能である。
• 本論文は、最適方策が存在し、動的計画法の非効率な計算を避けるために凸プログラミングによりリアルタイムで計算可能であることを確立している。