[論文レビュー] Information Design with Unknown Prior

Ce Li, T. Lin|arXiv (Cornell University)|Oct 7, 2024

Advanced Database Systems and Queries被引用数 1

ひとこと要約

本稿では、状態の事前分布が未知の受信者を対象とする情報設計者向けの学習アルゴリズムを提案する。受信者の行動を用いた二分探索により事前分布を推定することで、一般には Θ(log T)、二値行動の場合には Θ(log log T) のタイトなレグレットバウンドを達成するノーレグレット学習が可能となり、状態を直接観測せずに近似的に最適な信号伝達スキームに高速に収束できる。

ABSTRACT

Classical information design models (e.g., Bayesian persuasion and cheap talk) require players to have perfect knowledge of the prior distribution of the state of the world. Our paper studies repeated persuasion problems in which the information designer does not know the prior. The information designer learns to design signaling schemes from repeated interactions with the receiver. We design learning algorithms for the information designer to achieve no regret compared to using the optimal signaling scheme with known prior, under two models of the receiver’s decision-making: (1) The first model assumes that the receiver knows the prior and can perform posterior update and best respond to signals. In this model, we design a learning algorithm for the information designer to achieve O(log T) regret in the general case, and another algorithm with Θ(log log T) regret in the case where the receiver has only two actions. Our algorithms are based on multi-dimensional and conservative binary search techniques, which circumvent the Ω(√T) limitation of empirical estimation in previous works. (2) The second model assumes that the receiver does not know the prior either and employs a no-regret learning algorithm to take actions. Bayesian persuasion and cheap talk are equivalent under this no-regret learning receiver model. We show that the information designer can achieve regret O(√{rReg(T) T}), where rReg(T) = o(T) is an upper bound on the receiver’s learning regret. The algorithm is based on exploration + robustification. The O(√{rReg(T) T}) regret bound is tight even when the information designer knows the prior [Lin and Chen, 2024]. Our work thus provides a learning foundation for the problem of information design with unknown prior.

研究の動機と目的

• 設計者が状態に関する受信者の事前信念を把握していない状況における情報設計の課題に対処すること。
• 状態の観測を要する経験的推定（O(√T) のレグレットを示す）や、非最悪ケースの事前分布において性能が著しく低下する可能性があるロバスト最適化の限界を克服すること。
• 状態情報への直接アクセスが不可能な状況においても、近似的に最適な信号伝達スキームに高速に収束できる学習アルゴリズムを設計すること。
• 繰り返しの相互作用において受信者の行動選択から事前信念を推定することで、ノーレグレット学習を達成すること。
• この設定における学習効率の根本的限界を反映するタイトなレグレットバウンドを確立すること。

提案手法

• 状態の直接観測に依存せず、受信者の行動をフィードバックとして用い、真の事前信念を推定すること。
• 可能な事前分布の値の範囲に対して二分探索を実装し、各信号伝達スキームを、推定された事前分布のもとで受信者が行動に迷わないように設計する。
• 受信者がとる行動（例：どの行動を選ぶか）をもとに、真の事前分布が現在の推定値より高いか低いかを特定し、探索範囲を絞り込む。
• 最適な信号伝達スキームの構造的性質を活用して、二値行動から複数の行動および状態への二分探索フレームワークの一般化を行う。
• 推定された事前分布に基づいて信号伝達スキームを構築し、反復的に推定値を更新することで、時間経過に伴い性能を向上させる。
• 二値行動設定では、パラメータ M（説得力）を鍵とする。アルゴリズムは、信号伝達スキームが説得可能かどうかのフィードバックから M* を学習する。

実験結果

リサーチクエスチョン

• RQ1 情報設計者は、状態の背後にある状態を観測せずに、繰り返しの相互作用から受信者の未知の事前信念を効率的に学習できるか？
• RQ2 事前分布が未知である場合、最適な信号伝達スキームを学習する際のレグレットレートの根本的限界は何か？
• RQ3 一般ケースと二値行動の特殊ケースにおいて、時間 T に伴うレグレットバウンドはどのようにスケーリングするか？
• RQ4 状態の観測や事前仮定を必要とせず、行動フィードバックのみでノーレグレット学習を達成できるか？
• RQ5 提案されたアルゴリズムが達成する上界と一致する、根本的なレグレット下界は存在するか？

主な発見

• 提案された学習アルゴリズムは、複数の状態と行動を含む一般ケースにおいて、O(log T) のレグレットバウンドを達成し、未知の事前分布に対する最適な信号伝達スキームへの高速収束を保証する。
• 二値行動という重要な特殊ケースでは、タイトなレグレットバウンド Θ(log log T) を達成し、既に確立された Ω(log log T) の下界と一致する。
• レグレットバウンドは、真の M* を特定するための二分探索プロセスに起因し、各行動フィードバックが真の M* に関する1ビットの情報を明らかにする。
• 状態の観測に依存する経験的推定とは異なり、行動からの学習により O(√T) のレグレットを回避でき、状態観測がしばしば不可能な状況でも有効である。
• タイトな Θ(log log T) のバウンドは、二値行動設定において、定数要因の範囲で最適であることを示唆する。
• この結果は、状態を観測できない状況においても、受信者の行動のみに依存して事前信念を推定できるため、効率的な学習が可能であることを示している。