[論文レビュー] Overabundant Information and Learning Traps

Annie Liang, Xiaosheng Mu|arXiv (Cornell University)|May 21, 2018

Game Theory and Applications参考文献 6被引用数 4

ひとこと要約

本稿は、過剰な情報が存在する環境における社会的学習を研究しており、エージェントが予測すべき未知の状態を特定するために、相関する多数の情報源から選択を行う。本研究は、すべての交絡変数を回復するためにK個の情報源が必要かどうかという、重要な条件を同定し、これが社会的学習が効率的になるか、または劣悪な情報源が優勢となり、学習が逆に遅れる「学習の陥落」に陥るかを決定づける。

ABSTRACT

We develop a model of social learning from overabundant information: Short-lived agents sequentially choose from a large set of (flexibly correlated) information sources for prediction of an unknown state. Signal realizations are public. We demonstrate two starkly different long-run outcomes: (1) efficient information aggregation, where the community eventually learns as fast as possible; (2) "learning traps," where the community gets stuck observing suboptimal sources and learns inefficiently. Our main results identify a simple property of the signal correlation structure that separates these outcomes. In both regimes, we characterize which sources are observed in the long run and how often.

研究の動機と目的

• エージェントが多数の相関する情報源からなる柔軟な集合に直面する状況における社会的学習をモデル化すること。
• 過去の情報選択が長期的学習効率に与える影響を分析すること。
• 社会が最適な情報集約に収束するか、非効率的学習の陥落に陥るかを決定づける構造的条件を同定すること。
• 効率的および陥落状態の両方において、長期的に観察される情報源とその頻度を特定すること。

提案手法

• エージェントを、報酬に関連する状態と交絡変数のノイズの多い線形結合から成る多数の情報源から順次選択するものとしてモデル化。
• 信号実現値が公開されていると仮定し、予測が観測された信号の全履歴に依存することを前提とする。
• ベイズ更新フレームワークを用い、エージェントは観測された信号実現値に基づいて信念を更新し、事後分散を最小化するように情報源を選択する。
• 限界的利害のない状況において、情報の顕在化と社会的福祉を最大化する信号の長期的周波数を最適な長期的信号周波数として定義。
• 「最小スパニング集合」という概念を導入し、交絡項と報酬に関連する状態をすべて同時に回復できる情報源の集合を定義。
• 最適設計理論（例：Chaloner, 1984）の結果を応用し、信号使用の漸近的周波数を特徴づける。

実験結果

リサーチクエスチョン

• RQ1 過剰な情報が存在する状況において、社会的学習が効率的な情報集約を達成する条件は何か？
• RQ2 情報源間の補完性が外部性を生じさせ、長期的学習行動を歪める仕組みは何か？
• RQ3 信号相関の構造的性質として、社会が学習の陥落を回避するか、陥落に陥るかを決定づける要因は何か？
• RQ4 交絡変数が存在する状況において、事前信念が長期的情報源選択に与える影響は何か？
• RQ5 エージェントが合理的かつ先制的である場合でも、学習の陥落は持続可能か？

主な発見

• すべての交絡変数を回復するためにK個の情報源（未知数の数がK）が必要である場合、任意の事前信念から出発しても、長期的学習は効率的になる。
• すべての交絡項を回復しなくても報酬に関連する状態を学習可能である場合、エージェントは劣悪な情報源に陥落し、非効率的に遅い学習に陥る可能性がある。
• 報酬に関連する状態を回復できるK未満の情報源集合が、ある種の事前信念のもとで学習の陥落を引き起こす。
• 学習の陥落において、エージェントは残存する未知の交絡要因に影響を受ける情報源を、長期的に過小評価し続ける。その情報源でさえ、漸近的に最適であるにもかかわらず。
• 学習の陥落における長期的非効率性は、最適情報源と劣悪情報源の間の分散低減の差に定量的に制限される。
• 割引因子が十分に低い場合、将来の利得が得られる可能性があるにもかかわらず、エージェントは部分空間で最適な情報源から逸脱しない。これは、逸脱に伴う即時のコストが高いためである。