[論文レビュー] Learning without Recall: A Case for Log-Linear Learning

M. Amin Rahimian, Ali Jadbabaie|arXiv (Cornell University)|Sep 30, 2015

Opinion Dynamics and Social Influence参考文献 20被引用数 3

ひとこと要約

本稿では、記憶のない合理的なエージェントが、過去の履歴を保存せずに現在の信念と個人的信号に基づいて信念を更新する『記憶なし学習』モデルを提案する。このモデルは、非ベイズ的更新ルールの行動的基礎を確立し、時間の経過とともに隣接エージェントの信念への依存度を徐々に低下させる場合に、強い連結性を持つネットワークで漸近的に指数関数的に高速に学習が達成されることを示している。

ABSTRACT

We analyze a model of learning and belief formation in networks in which agents follow Bayes rule yet they do not recall their history of past observations and cannot reason about how other agents' beliefs are formed. They do so by making rational inferences about their observations which include a sequence of independent and identically distributed private signals as well as the beliefs of their neighboring agents at each time. Fully rational agents would successively apply Bayes rule to the entire history of observations. This leads to forebodingly complex inferences due to lack of knowledge about the global network structure that causes those observations. To address these complexities, we consider a Learning without Recall model, which in addition to providing a tractable framework for analyzing the behavior of rational agents in social networks, can also provide a behavioral foundation for the variety of non-Bayesian update rules in the literature. We present the implications of various choices for time-varying priors of such agents and how this choice affects learning and its rate.

研究の動機と目的

• 社会的ネットワークにおける完全な合理的ベイズ推論の計算的非実行可能性（グローバル構造の知識不足による）を解決すること。
• 文献で広く用いられている非ベイズ的更新ルール（特に対数線形構造を有するもの）に対する行動的妥当性を提供すること。
• 時間変動する事前分布と信念更新ルールが、ネットワーク内での学習収束性と収束速度に与える影響を分析すること。
• 限られた記憶と局所的情報のもとでも、エージェントが真の世界状態を学習できる条件を確立すること。

提案手法

• エージェントは、過去の観測や信念を記憶せず、個人的信号と隣接エージェントの現在の信念を組み合わせる対数線形信念更新ルールを用いる。
• ベイズ的更新プロセスの線形化を可能にするために、対数信念比（ϕ）と対数尤度比（λ）を用いることで、解析が容易になるようにする。
• 時間変動する事前構造を導入し、エージェントが時間の経過とともに隣接エージェントの信念への重みを減少させる。これは、t → ∞ のとき x_t → 0 で表される。
• 重み付き隣接行列 B = ηI + (1−η)T を用いた行列反復形式で更新ルールを定式化する。ここで T は正規化されたネットワーク隣接行列である。
• 収束性は、エルゴードマルコフ連鎖理論を用いて分析され、Cesàro平均と一意な定常分布 s の存在が利用される。
• モデルは漸近的にほとんど確実に指数関数的学習速度を保証し、その速度は ∑ᵢ sᵢ(−λᵢ(θ̂))（θ̂ ≠ θ）で決定される。

実験結果

リサーチクエスチョン

• RQ1 記憶のない状態で、合理的なエージェントは社会的ネットワーク内において真の世界状態を学習できるか？
• RQ2 時間変動する事前分布と信念更新ルールにどのような条件を課すと、真の状態へのほとんど確実な収束が保証されるか？
• RQ3 学習速度はネットワーク構造と隣接エージェントの信念への割り当て重みにどのように依存するか？
• RQ4 対数線形構造を有する非ベイズ的更新ルールは、記憶制約下での合理的な学習モデルによって行動的妥当性を示せるか？

主な発見

• エージェントが時間の経過とともに隣接エージェントの信念への依存度を低下させる（x_t → 0 として t → ∞）場合、強い連結性を持つネットワークでは、漸近的に指数関数的に高速に学習が達成される。
• 学習速度は定常分布 s と対数尤度比に依存し、速度は min_{θ̂≠θ} ∑ᵢ sᵢ(−λᵢ(θ̂)) で与えられる。
• 時間変動する更新の収束に必要な条件は、∑_{u=1}^∞ x_u < ∞ であり、ここで x_u は時間 u における隣接エージェントの信念への相対的重みを表す。
• 本モデルは、DeGroot や Jadbabaie et al. のようなモデルにおける対数線形更新ルールの行動的基礎を提供する。記憶制約下での合理的推論から、これらの更新ルールが自然に導かれることが示された。
• 完全な記憶がなくても、ネットワークが強い連結性を持ち、個人的信号が真の状態を一意に特定できる限り、エージェントは真の状態を学習できる。
• ネットワークの非周期性を仮定する必要はなく、収束性はエルゴード性と一意な定常分布の存在にのみ依存する。