[論文レビュー] Rationally Inattentive Inverse Reinforcement Learning Explains YouTube Commenting Behavior

William Hoiles, Vikram Krishnamurthy+1 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Bandit Algorithms Research被引用数 11

ひとこと要約

本稿では、深層埋め込みクラスタリングを用いてユーザーグループを特定し、ベイズ的露顯的選好を用いて効用最大化をテストし、Rényi相互情報量制約を用いて注意の制限をモデル化することで、YouTubeのコメント行動をモデル化・予測する合理的に無関心な逆強化学習フレームワークを提案する。主な発見は、大多数のユーザーグループが合理的に無関心なベイズ的効用最大化に従っていることであり、これによりコメントパターンの正確な予測が可能になる。

ABSTRACT

We consider a novel application of inverse reinforcement learning with behavioral economics constraints to model, learn and predict the commenting behavior of YouTube viewers. Each group of users is modeled as a rationally inattentive Bayesian agent which solves a contextual bandit problem. Our methodology integrates three key components. First, to identify distinct commenting patterns, we use deep embedded clustering to estimate framing information (essential extrinsic features) that clusters users into distinct groups.Second, we present an inverse reinforcement learning algorithm that uses Bayesian revealed preferences to test for rationality: does there exist a utility function that rationalizes the given data, and if yes, can it be used to predict commenting behavior? Finally, we impose behavioral economics constraints stemming from rational inattention to characterize the attention span of groups of users. The test imposes a R{\\'e}nyi mutual information cost constraint which impacts how the agent can select attention strategies to maximize their expected utility. After a careful analysis of a massive YouTube dataset, our surprising result is that in most YouTube user groups, the commenting behavior is consistent with optimizing a Bayesian utility with rationally inattentive constraints. The paper also highlights how the rational inattention model can accurately predict commenting behavior. The massive YouTube dataset and analysis used in this paper are available on GitHub and completely reproducible.

研究の動機と目的

• 情報制約の下で効用を最適化する合理的に無関心なベイズ的エージェントとして、YouTube視聴者のコメント行動をモデル化すること。
• 大規模なYouTubeデータセットを用いた深層埋め込みクラスタリングにより、明確なユーザーコメント行動パターンを同定すること。
• 観察されたコメント行動が、合理的に無関心な制約下での効用関数によって説明可能かどうかを検証すること。
• 行動経済学と逆強化学習を統合することで、コメント行動の予測モデルを構築すること。
• データセットと分析プロセスをGitHubに公開し、結果の完全な再現可能性を確保すること。

提案手法

• 深層埋め込みクラスタリングを用いて、YouTube動画を重複のないセグメントに分割し、視聴およびコメント行動に基づいてユーザーグループを定義する。
• ベイズ的露顯的選好を適用し、合理的に無関心な条件下で観察されたユーザ行動を合理的に説明する効用関数の存在を検証する。
• Rényi相互情報量コスト制約を課して、限られた注意容量をモデル化し、コメント行動を制約付きコンテキストバンディット問題として定式化する。
• 観察された行動選択方針πk(a|x)と事後状態分布から、エージェントの注意関数αk(s|x)と選択関数ηk(a|s)を推定する。
• 観察された事後分布pk(x|a)を用いて、真の注意関数を知らなくても、注意関数と選択関数の一貫した推定を構築する。
• Afriat型の条件に基づくテストを用いて、合理的に無関心の整合性を検証し、有界合理的性と情報コスト制約との一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 異なるユーザーグループにおけるYouTubeのコメント行動は、合理的に無関心な制約下でのベイズ的効用関数によって説明可能か？
• RQ2 Rényi相互情報量制約は、YouTube視聴者の注意制限をどれほど正確にモデル化できるか？
• RQ3 合理的に無関心な逆強化学習モデルは、代替モデルと比較して、実際のコメント行動をどれほどよく予測できるか？
• RQ4 動画のカテゴリーや再生回数のレベルに応じて、ユーザーエンゲージメント（コメント数と評価）に一貫したパターンが見られるか？
• RQ5 深層埋め込みクラスタリングは、大規模なYouTubeデータにおけるコメント行動に基づいて意味のあるユーザーグループを効果的に同定できるか？

主な発見

• 大多数のYouTubeユーザーグループにおいて、コメント行動は、合理的に無関心な制約下でのベイズ的効用関数の最適化と整合的であり、ユーザの意思決定における有界合理的性を示している。
• 合理的に無関心なモデルは、コメント行動を正確に予測しており、多様な動画カテゴリーや再生回数レベルにおいて強力な予測性能を示している。
• ゲーム系と非ゲーム系の動画カテゴリーグループでは、注意とエンゲージメントのパターンに顕著な違いが見られ、平均的な関与ユーザー数は1つの動画サブカテゴリあたり8〜4596人である。
• 観察された注意関数αk(s|x)は、真の注意関数ρk(r|x)よりもノイズが多く、弱く情報量が少ないバージョンであることが確認され、部分的観測性に対してもモデルのロバストネスが裏付けられた。
• フレームワークは、80%のユーザーグループで効用最大化行動を正しく同定でき、情報制約下でのベイズ的露顯的選好テストの有効性が検証された。
• YouTubeの完全なデータセットと分析パイプラインはGitHubに公開されており、結果の完全な再現性が確保されている。