[論文レビュー] Learning to detect an oddball target with observations from an exponential family

Gayathri R Prabhu, Srikrishna Bhashyam+2 more|arXiv (Cornell University)|Dec 11, 2017

Advanced Bandit Algorithms Research参考文献 9被引用数 9

ひとこと要約

本稿では、未知のパラメータをもつ多腕バンディットにおける奇抜な腕の検出を、ベクトル指数型分布族からの観測に対して、共役事前分布を用いて誤検出確率が有界となるように修正された一般化尤度比検定を用いる逐次的方策を提案する。この方策は、合計コスト（期待時間＋スイッチングコスト）を最小化する点で漸近的に最適であり、log(1/α)/D* のスケーリングを示す。ここで α は誤検出のしきい値、D* は最適な相対エントロピーに基づくスケーリング要因である。

ABSTRACT

The problem of detecting an odd arm from a set of K arms of a multi-armed bandit, with fixed confidence, is studied in a sequential decision-making scenario. Each arm's signal follows a distribution from a vector exponential family. All arms have the same parameters except the odd arm. The actual parameters of the odd and non-odd arms are unknown to the decision maker. Further, the decision maker incurs a cost for switching from one arm to another. This is a sequential decision making problem where the decision maker gets only a limited view of the true state of nature at each stage, but can control his view by choosing the arm to observe at each stage. Of interest are policies that satisfy a given constraint on the probability of false detection. An information-theoretic lower bound on the total cost (expected time for a reliable decision plus total switching cost) is first identified, and a variation on a sequential policy based on the generalised likelihood ratio statistic is then studied. Thanks to the vector exponential family assumption, the signal processing in this policy at each stage turns out to be very simple, in that the associated conjugate prior enables easy updates of the posterior distribution of the model parameters. The policy, with a suitable threshold, is shown to satisfy the given constraint on the probability of false detection. Further, the proposed policy is asymptotically optimal in terms of the total cost among all policies that satisfy the constraint on the probability of false detection.

研究の動機と目的

• 腕の真のパラメータが未知であり、観測がベクトル指数型分布族に従う多腕バンディットにおける奇抜な腕の検出問題に対処すること。
• 各腕の切り替えにコストが発生するというスイッチングコストを逐次検出フレームワークに組み込むこと。
• 誤検出確率に固定信頼性制約を課す一方で、合計コスト（期待時間＋スイッチングコスト）を最小化する方策を設計すること。
• 従来のポアソン分布に従う観測に関する先行研究を、より広い指数型分布族のクラスへ一般化すること。
• 相対エントロピーと対数生成関数の凸共役関数を用いて、合計コストの情報理論的下界を確立し、提案方策がこの下界を漸近的に達成することを示すこと。

提案手法

• 未知パラメータの共役事前分布を人工的に導入し、尤度比をその上に平均化することで、検定統計量の安定化を図った修正一般化尤度比検定（GLRT）を用いる。
• 指数型分布族における共役事前分布を用いることで、各段階での事後分布の更新が効率的かつ閉形式で可能になるようにする。
• 時不変のしきい値方策を、対数尤度比統計量に基づいて用い、サンプリングをいつ停止させ、奇抜な腕を宣言するかを決定する。
• 相対エントロピーと対数生成関数の凸共役関数を用いて、合計コストの情報理論的下界を導出する。
• 相対エントロピーに基づく分布間の最適割合から導かれる戦略に従い、観測を割り当てるサンプリング戦略を設計し、下界に漸近的に一致させる。
• 誤検出確率が α 以下に抑えられるように、一般化尤度比統計量に基づくしきい値ルールを用いる。

実験結果

リサーチクエスチョン

• RQ1 固定信頼性制約下での奇抜な腕検出に際し、合計コスト（期待時間＋スイッチングコスト）の根本的下界は何か？
• RQ2 指数型分布族のパラメータが未知である状況で、この下界に漸近的に達するように逐次方策を設計するにはどうすればよいか？
• RQ3 共役事前分布は、提案方策における効率的かつ取り扱いやすい事後分布更新を実現するために果たす役割は何か？
• RQ4 スイッチングコストの導入は、逐次的奇抜な腕検出における最適なサンプリング戦略と合計コストにどのように影響を与えるか？
• RQ5 提案方策が、誤検出制約を満たすすべての方策の中で合計コストについて漸近的に最適であることが示せるか？

主な発見

• 提案方策は、合計コストについて情報理論的下界を漸近的に達成する。合計コストは log(1/α)/D* のスケーリングを示し、D* は最適な相対エントロピーに基づくスケーリング要因である。
• 適切に選ばれた一般化尤度比統計量のしきい値により、誤検出確率が α 以下に抑えられる。
• 方策のサンプリング戦略は、誤検出確率 α が 0 に近づくにつれて、下界が示唆する最適割合に収束する。
• 共役事前分布の使用により、簡単かつ効率的な事後分布更新が可能となり、リアルタイム実装において計算的に扱いやすくなる。
• 誤検出制約を満たすすべての方策の中で、期待時間と合計スイッチングコストの和を最小化する点で、方策は漸近的に最適である。
• 分析は、従来のポアソン分布に従う観測に関する結果を、ベクトル指数型分布族の全クラスへ一般化し、正規分布、二項分布、ガンマ分布といったモデルを統一する。