[논문 리뷰] Information Design with Unknown Prior

Ce Li, T. Lin|arXiv (Cornell University)|2024. 10. 07.

Advanced Database Systems and Queries인용 수 1

한 줄 요약

이 논문은 상태에 대한 사전 믿음이 알려져 있지 않은 수신자를 대응하는 정보 설계자들을 위한 학습 알고리즘을 제안한다. 수신자 행동에 대한 이진 탐색을 사용하여 사전 믿음을 추정함으로써, 일반적으로는 Θ(log T)의 날카로운 리그레트 한계를 확보하고 이중 행동 케이스에서는 Θ(log log T)의 리그레트를 달성함으로써, 상태를 직접 관찰하지 못하더라도 near-optimal 신호 전달 체계로의 빠른 수렴을 가능하게 한다.

ABSTRACT

Classical information design models (e.g., Bayesian persuasion and cheap talk) require players to have perfect knowledge of the prior distribution of the state of the world. Our paper studies repeated persuasion problems in which the information designer does not know the prior. The information designer learns to design signaling schemes from repeated interactions with the receiver. We design learning algorithms for the information designer to achieve no regret compared to using the optimal signaling scheme with known prior, under two models of the receiver’s decision-making: (1) The first model assumes that the receiver knows the prior and can perform posterior update and best respond to signals. In this model, we design a learning algorithm for the information designer to achieve O(log T) regret in the general case, and another algorithm with Θ(log log T) regret in the case where the receiver has only two actions. Our algorithms are based on multi-dimensional and conservative binary search techniques, which circumvent the Ω(√T) limitation of empirical estimation in previous works. (2) The second model assumes that the receiver does not know the prior either and employs a no-regret learning algorithm to take actions. Bayesian persuasion and cheap talk are equivalent under this no-regret learning receiver model. We show that the information designer can achieve regret O(√{rReg(T) T}), where rReg(T) = o(T) is an upper bound on the receiver’s learning regret. The algorithm is based on exploration + robustification. The O(√{rReg(T) T}) regret bound is tight even when the information designer knows the prior [Lin and Chen, 2024]. Our work thus provides a learning foundation for the problem of information design with unknown prior.

연구 동기 및 목표

• 수신자의 상태에 대한 사전 믿음이 알려져 있지 않은 정보 설계 문제를 다루기.
• 상태 관찰이 필요하고 O(√T) 리그레트를 겪는 경험적 추정(empirical estimation)의 한계를 극복하고, 최악의 사전 믿음이 아닌 경우에 성능이 떨어지는 강건 최적화(robust optimization)의 한계를 극복하기.
• 직접 상태 정보에 접근할 수 없더라도, 근사적으로 최적의 신호 전달 체계로의 수렴 속도를 빠르게 하는 학습 알고리즘을 설계하기.
• 반복적 상호작용에서 수신자의 행동 선택을 통해 사전 믿음을 추론함으로써 no-regret 학습을 달성하기.
• 이 설정에서 학습 효율의 본질적 한계를 반영하는 날카로운 리그레트 한계를 확립하기.

제안 방법

• 상태를 직접 관찰하는 대신, 수신자의 행동을 피드백으로 사용하여 진정한 사전 믿음을 추론하기.
• 가능한 사전 값에 대한 이진 탐색 기반 메커니즘을 구현하며, 각 신호 전달 체계는 추측된 사전 믿음 하에서 수신자가 행동에 대해 무차별이 되도록 설계된다.
• 수신자가 취하는 행동(예: 어떤 행동을 선택하는지)을 통해 진정한 사전 믿음이 현재 추측값보다 높은지 낮은지 판단하여 탐색 범위를 좁힌다.
• 최적의 신호 전달 체계의 구조적 성질을 활용하여, 이중 행동에서 다중 행동 및 다중 상태로의 이진 탐색 프레임워크를 일반화한다.
• 추정된 사전 믿음을 기반으로 신호 전달 체계를 구성하고, 반복적으로 추정치를 업데이트하여 시간이 지남에 따라 성능을 향상시킨다.
• 이중 행동 케이스에서 편향 강도(M)를 핵심 매개변수로 사용하며, 알고리즘은 신호 전달 체계가 설득력이 있는지 여부의 피드백을 통해 M*를 학습한다.

실험 결과

연구 질문

• RQ1 상태를 직접 관찰하지 못하면서도 반복적 상호작용을 통해 수신자의 알려지지 않은 사전 믿음을 효율적으로 학습할 수 있는가?
• RQ2 사전 믿음이 알려져 있지 않은 상황에서 최적의 신호 전달 체계를 학습할 때 리그레트 속도의 본질적 한계는 무엇인가?
• RQ3 일반적인 경우와 이중 행동 특수 케이스에서 시간 T에 따라 리그레트 한계는 어떻게 변화하는가?
• RQ4 상태 관찰이나 사전 가정 없이도 행동 피드백만으로도 정보 설계자가 no-regret 학습을 달성할 수 있는가?
• RQ5 제안된 알고리즘이 달성한 상한과 일치하는 본질적 하한이 존재하는가?

주요 결과

• 제안된 학습 알고리즘은 다중 상태 및 다중 행동의 일반적인 경우에서 O(log T)의 리그레트 한계를 확보하여, 알려지지 않은 사전 믿음에 대해 최적의 신호 전달 체계로의 빠른 수렴을 보장한다.
• 중요한 특수 케이스인 이중 행동의 경우, 알고리즘은 날카로운 리그레트 한계 Θ(log log T)를 달성하며, 기존에 알려진 Ω(log log T) 하한과 정확히 일치한다.
• 리그레트 한계는 각 행동 피드백이 진정한 M*에 대해 비트 단위의 정보를 드러내는 편향 강도 M*에 대한 이진 탐색 과정에서 유도된다.
• 상태 관찰이 일반적으로 불가능한 점을 감안할 때, 알고리즘은 상태 관찰에 의존하지 않고 행동에서 학습함으로써 경험적 추정의 O(√T) 리그레트를 피한다.
• 엄격한 Θ(log log T) 한계는 이중 행동 설정에서 알고리즘이 상수 요소를 제외하고 최적임을 시사한다.
• 결과적으로 상태를 관찰할 수 없더라도 수신자의 행동만으로 사전 믿음을 추론할 수 있음을 보여주며, 효율적인 학습이 가능하다는 것을 입증한다.