[論文レビュー] Quickest Time Herding and Detection for Optimal Social Learning

Vikram Krishnamurthy|arXiv (Cornell University)|Mar 25, 2010

Computability, Logic, AI Algorithms参考文献 23被引用数 15

ひとこと要約

本稿は、合理的なエージェントネットワークにおける最適な社会的学習のフレームワークを提案し、ベイジアン信念空間上のスイッチングカーブを用いて、ハーディング行動と最速の時刻検出をモデル化する。利己的でない状況と動的目標条件下での最適意思決定ルールを導出するためにラティスプログラミングと確率的近似を導入し、幾何分布および位相型分布の両方に対してスイッチングカーブの最適性を証明する。

ABSTRACT

This paper considers social learning amongst rational agents (for example, sensors in a network). We consider three models of social learning in increasing order of sophistication. In the first model, based on its private observation of a noisy underlying state process, each agent selfishly optimizes its local utility and broadcasts its action. This protocol leads to a herding behavior where the agents eventually choose the same action irrespective of their observations. We then formulate a second more general model where each agent is benevolent and chooses its sensor-mode to optimize a social welfare function to facilitate social learning. Using lattice programming and stochastic orders, it is shown that the optimal decision each agent makes is characterized by a switching curve on the space of Bayesian distributions. We then present a third more general model where social learning takes place to achieve quickest time change detection. Both geometric and phase-type change time distributions are considered. It is proved that the optimal decision is again characterized by a switching curve We present a stochastic approximation (adaptive filtering) algorithms to estimate this switching curve. Finally, we present extensions of the social learning model in a changing world (Markovian target) where agents learn in multiple iterations. By using Blackwell stochastic dominance, we give conditions under which myopic decisions are optimal. We also analyze the effect of target dynamics on the social welfare cost.

研究の動機と目的

• エージェントが個人的なノイズの多い観測に基づいて行動し、行動を広報することでハーディング行動が生じる、合理的エージェントにおける社会的学習をモデル化すること。
• 社会的福祉を最適化する利己的でないエージェントのモデルを、信念分布上の確率的効用関数を介して拡張すること。
• 幾何分布および位相型分布を用いて、動的環境における最速の時刻変化検出のフレームワークを構築すること。
• 未知の不確実性下でのリアルタイム意思決定のための最適スイッチングカーブを推定する適応アルゴリズムを設計すること。
• マルコフ的目標ダイナミクスが社会的福祉に与える影響を分析し、局所的決定が最適となる条件を特定すること。

提案手法

• ラティスプログラミングと確率的順序を用いて、ベイジアン事後分布の空間における最適意思決定ルールをスイッチングカーブとして特徴付ける。
• スイッチングカーブのリアルタイム推定のため、事前分布の知識がなくてもよい適応フィルタリング（確率的近似）を適用する。
• 状態変化の時刻に幾何分布および位相型分布を用いて変化検出をモデル化し、最速検出性能の分析を可能にする。
• ブラックウェルの確率的優位性を用いて、マルコフ的目標環境下で局所的決定が最適となる条件を導出する。
• 時間的に変化する目標を持つ進化する環境における社会的学習を捉えるために、複数反復学習モデルを導入する。
• 社会的福祉コストの最適性に関する十分条件を、動的目標ダイナミクス下での局所的決定の分析を通じて導出する。

実験結果

リサーチクエスチョン

• RQ1 プライベートでノイズの多い観測に基づいても、ネットワーク内の利己的エージェントはどのようにしてハーディング行動に到達するのか？
• RQ2 利己的でないエージェントの最適行動は、信念空間上でどのような条件下でスイッチングカーブとして特徴付けられるか？
• RQ3 変化時刻の分布が未知である社会的学習における最速時刻検出の最適戦略は何か？
• RQ4 事前知識なしに、適応フィルタリングアルゴリズムは最適スイッチングカーブを推定できるか？
• RQ5 マルコフ的目標環境下で、局所的決定ルールが最適となる条件は何か？また、目標ダイナミクスは社会的福祉にどのように影響するか？

主な発見

• 利己的でないエージェントの社会的学習における最適意思決定は、ラティスプログラミングと確率的順序を用いて導出されたベイジアン事後分布空間上のスイッチングカーブによって特徴付けられる。
• 最速検出の文脈では、幾何分布および位相型分布の両方において、最適戦略もまたスイッチングカーブとして特徴付けられ、最小の検出遅延を保証する。
• 確率的近似アルゴリズムは最適スイッチングカーブに収束し、完全な分布の知識がなくてもリアルタイム実装が可能になる。
• マルコフ的目標環境下では、ブラックウェル順序に基づいて導出された特定の確率的優位性条件を満たす場合、局所的決定が最適となる。
• 社会的福祉コストは目標ダイナミクスの速度に比例して増加し、本稿では非最適性のコストに関する解析的バウンディングを通じてこのトレードオフを定量的に評価している。
• スイッチングカーブの構造は、異なる変化時刻分布に対しても保持されるため、提案フレームワークのロバスト性と一般性が示されている。