[論文レビュー] A Distributed Learning Dynamics in Social Groups

L. Elisa Celis, P. M. Krafft+1 more|arXiv (Cornell University)|May 8, 2017

Opinion Dynamics and Social Influence参考文献 26被引用数 4

ひとこと要約

本稿では、個々の参加者が最近のパフォーマンス信号に基づいて他者を模倣する、社会的グループにおける分散型学習ダイナミクスを導入し、この単純で記憶を持たないプロセスが、低レグレットで速やかに最良の選択肢に収束することを証明している。有限集団におけるこのダイナミクスが、乗法的重み更新（MWU）法の確率的バージョンを効果的に実装しており、明示的なレグレットバウンド $O(\sqrt{\ln m / T})$ を達成することを示している。

ABSTRACT

We study a distributed learning process observed in human groups and other social animals. This learning process appears in settings in which each individual in a group is trying to decide over time, in a distributed manner, which option to select among a shared set of options. Specifically, we consider a stochastic dynamics in a group in which every individual selects an option in the following two-step process: (1) select a random individual and observe the option that individual chose in the previous time step, and (2) adopt that option if its stochastic quality was good at that time step. Various instantiations of such distributed learning appear in nature, and have also been studied in the social science literature. From the perspective of an individual, an attractive feature of this learning process is that it is a simple heuristic that requires extremely limited computational capacities. But what does it mean for the group -- could such a simple, distributed and essentially memoryless process lead the group as a whole to perform optimally? We show that the answer to this question is yes -- this distributed learning is highly effective at identifying the best option and is close to optimal for the group overall. Our analysis also gives quantitative bounds that show fast convergence of these stochastic dynamics. Prior to our work the only theoretical work related to such learning dynamics has been either in deterministic special cases or in the asymptotic setting. Finally, we observe that our infinite population dynamics is a stochastic variant of the classic multiplicative weights update (MWU) method. Consequently, we arrive at the following interesting converse: the learning dynamics on a finite population considered here can be viewed as a novel distributed and low-memory implementation of the classic MWU method.

研究の動機と目的

• 単純で分散的かつ記憶を持たない学習ダイナミクスが、社会的グループにおいて最適な集団的意思決定に至るかどうかを理解すること。
• 確率的サンプリングと採用ステップを伴う有限集団におけるそのようなダイナミクスの収束性と効率性を分析すること。
• これらのダイナミクス下での集団レベルのパフォーマンスに対する厳密なレグレットバウンドを確立すること。
• 社会的学習の経験的観察と有限で確率的な設定における理論的分析の間のギャップを埋めること。
• 提案されたダイナミクスと古典的な乗法的重み更新（MWU）法との関係を明らかにすること。

提案手法

• 論文は、各個人が他のメンバーを確率的にサンプリングし、その最近のパフォーマンス信号が良好であればその選択肢を採用するという二段階のプロセスとしてダイナミクスをモデル化している。
• 無限集団における確率的変種のダイナミクスを導入し、解析的に取り扱えることが示され、強い収束性を示している。
• 理論的分析により、無限集団におけるダイナミクスが確率的MWU法に類似した性質を持つことが示されている。
• 無限集団モデルの収束性と有限集団ダイナミクスへのカップリング論法を組み合わせることで、レグレットバウンドが導出されている。
• グループレベルのパフォーマンスが後知恵で最適な戦略からどれほど逸脱するかを制御するために、重要な不等式と対数的バウンドが用いられている。
• 特に信頼パラメータ $\beta$ のパrameterチューニングが、分散環境におけるレグレット性能の最適化に寄与することを分析している。

実験結果

リサーチクエスチョン

• RQ1 有限社会的グループにおける分散的かつ記憶を持たない学習プロセスは、低レグレットで最良の選択肢に収束するか？
• RQ2 そのプロセスのパフォーマンスは、後知恵での最適戦略と比べてどの程度か？
• RQ3 この社会的学習ダイナミクスと古典的な乗法的重み更新（MWU）法との理論的関連性はあるか？
• RQ4 確率的要因を伴う有限集団におけるこのダイナミクスの定量的収束性とレグレットバウンドは何か？
• RQ5 このプロセスは、MWUアルゴリズムの分散的かつ低記憶実装と見なせるか？

主な発見

• 有限集団における分散型学習ダイナミクスは、$O(\sqrt{\ln m / T})$ のレグレットバウンドを達成しており、確率的MWU法の最適レートと一致している。
• $T \geq \ln m / \delta^2$ の場合、レグレットは $3\delta$ でバウンドされ、近似的に最適なパフォーマンスへの高速収束が示された。
• 最良の選択肢が選ばれる確率は時間経過とともに増加し、$T$ が十分に大きい場合、$\mathbb{E}[P_1^{t-1}] \geq 1 - \frac{3\delta}{\eta_1 - \eta_2}$ が成り立つ。これは最良の選択肢に対する強い選択圧を示している。
• 無限集団におけるダイナミクスの極限が、乗法的重み更新（MWU）法の確率的変種であることが示され、その有効性が説明された。
• グループレベルのダイナミクスは、完全情報問題を効果的に解いている。これは、個々の参加者が最近の信号しか観測しないにもかかわらず、高い集団的効率を達成できることを意味する。
• 採用ルールにおけるパラメータ $\beta$ は、レグレットに顕著な影響を与え、最適なチューニングにより標準的な $O(\sqrt{\ln m / T})$ レグレットバウンドを達成できる。これは、現実のグループがこのパラメータを暗黙的に最適化している可能性を示唆している。