[论文解读] A Formal Solution to the Grain of Truth Problem

Jan Leike, Jessica Taylor+1 more|arXiv (Cornell University)|Sep 16, 2016

Computability, Logic, AI Algorithms参考文献 8被引用 5

一句话总结

本文通过引入一类包含所有可计算策略及其贝叶斯最优对应策略的反射型预言机可计算环境，为多智能体强化学习中的“真理之 grain”问题提供了形式化解决方案。通过在该类上使用 Thompson 采样，智能体在任意未知的可计算多智能体环境中，渐近收敛至 ε-纳什均衡，实现了贝叶斯智能体可能失败情况下的渐近最优性。

ABSTRACT

A Bayesian agent acting in a multi-agent environment learns to predict the other agents' policies if its prior assigns positive probability to them (in other words, its prior contains a \emph{grain of truth}). Finding a reasonably large class of policies that contains the Bayes-optimal policies with respect to this class is known as the \emph{grain of truth problem}. Only small classes are known to have a grain of truth and the literature contains several related impossibility results. In this paper we present a formal and general solution to the full grain of truth problem: we construct a class of policies that contains all computable policies as well as Bayes-optimal policies for every lower semicomputable prior over the class. When the environment is unknown, Bayes-optimal agents may fail to act optimally even asymptotically. However, agents based on Thompson sampling converge to play ε-Nash equilibria in arbitrary unknown computable multi-agent environments. While these results are purely theoretical, we show that they can be computationally approximated arbitrarily closely.

研究动机与目标

• 通过构建一个包含所有可计算策略及其贝叶斯最优对应策略的策略类，解决多智能体强化学习中的“真理之 grain”问题。
• 解决贝叶斯智能体在未知环境中因探索不足而无法最优行动的局限性。
• 建立智能体在一般可计算多智能体环境中实现渐近最优性并收敛至均衡的条件。
• 证明反射型预言机可计算策略允许对理论上最优行为进行可计算近似。

提出的方法

• 构建一个足够大的反射型预言机可计算环境类，使其包含所有可计算的随机策略以及下半可计算先验下的贝叶斯最优策略。
• 采用反射型预言机——一种能够回答概率图灵机输出概率的随机预言机，即使这些图灵机递归地查询该预言机。
• 使用 Thompson 采样作为策略选择机制，以确保充分探索，从而在未知环境中实现向 ε-纳什均衡的收敛。
• 建立该策略类的极限可计算性，以确保理论结果可被计算近似。
• 将先前关于 Thompson 采样在一般强化学习中渐近最优性的结果，应用于多智能体设置。
• 通过证明：渐近地，每个智能体的策略在联合环境动态下以趋于 1 的概率成为 ε-最优响应，从而证明收敛至 ε-纳什均衡。

实验结果

研究问题

• RQ1 能否构造一个单一的策略类，使其包含所有可计算策略及其贝叶斯最优对应策略，从而解决“真理之 grain”问题？
• RQ2 在何种条件下，贝叶斯智能体在未知多智能体环境中会无法最优行动，原因是什么？
• RQ3 在适当的环境类上使用 Thompson 采样，能否确保在任意未知可计算多智能体环境中收敛至 ε-纳什均衡？
• RQ4 是否能够对“真理之 grain”问题的理论上最优解进行可计算近似？

主要发现

• 反射型预言机可计算环境类包含了所有可计算的随机策略以及所有下述半可计算先验下的贝叶斯最优策略，从而解决了“真理之 grain”问题。
• 即使贝叶斯智能体拥有“真理之 grain”，在未知环境中仍可能因探索不足而无法最优行动。
• 在反射型预言机可计算类上使用 Thompson 采样，可确保智能体在任意未知可计算多智能体环境中渐近收敛至 ε-纳什均衡。
• 该策略类具有极限可计算性，允许对理论解进行任意接近的计算近似。
• 对于任意 ε > 0，每个智能体的策略是 ε-最优响应的概率，随着时间 t → ∞，在联合环境动态下趋于 1。
• 即使智能体事先不知道环境结构，例如在重复的配对硬币游戏或未知游戏中，该结果依然成立。