[논문 리뷰] A Formal Solution to the Grain of Truth Problem

Jan Leike, Jessica Taylor외 1명|arXiv (Cornell University)|2016. 09. 16.

Computability, Logic, AI Algorithms참고 문헌 8인용 수 5

한 줄 요약

이 논문은 반사적 오라클로 계산 가능한 환경의 클래스를 도입하여 다중 에이전트 강화 학습에서 곡물의 진리 문제를 공식적으로 해결한다. 이 클래스는 모든 계산 가능한 정 politics와 그들의 베이즈 최적 대응을 포함한다. 이 클래스 위에서 톰슨 샘플링을 사용함으로써, 어떤 알려지지 않은 계산 가능한 다중 에이전트 환경에서나 에이전트는 점점 증가하는 ε-나시 균형에 수렴하게 되며, 베이지안 에이전트가 실패할 수 있는 경우에도 점점 증가하는 최적성에 도달하게 된다.

ABSTRACT

A Bayesian agent acting in a multi-agent environment learns to predict the other agents' policies if its prior assigns positive probability to them (in other words, its prior contains a \emph{grain of truth}). Finding a reasonably large class of policies that contains the Bayes-optimal policies with respect to this class is known as the \emph{grain of truth problem}. Only small classes are known to have a grain of truth and the literature contains several related impossibility results. In this paper we present a formal and general solution to the full grain of truth problem: we construct a class of policies that contains all computable policies as well as Bayes-optimal policies for every lower semicomputable prior over the class. When the environment is unknown, Bayes-optimal agents may fail to act optimally even asymptotically. However, agents based on Thompson sampling converge to play ε-Nash equilibria in arbitrary unknown computable multi-agent environments. While these results are purely theoretical, we show that they can be computationally approximated arbitrarily closely.

연구 동기 및 목표

• 모든 계산 가능한 정 politics와 그들의 베이즈 최적 대응을 포함하는 정 politics 클래스를 구성하여 다중 에이전트 강화 학습에서 곡물의 진리 문제를 해결하는 것.
• 알려지지 않은 환경에서 탐색이 부족하여 최적 행동을 하지 못할 수 있는 베이지안 에이전트의 한계를 해결하는 것.
• 일반적인 계산 가능한 다중 에이전트 환경에서 에이전트가 점점 증가하는 최적성에 도달하고 균형에 수렴할 수 있는 조건을 설정하는 것.
• 반사적 오라클로 계산 가능한 정 politics가 이론적으로 최적 행동을 계산 가능한 근사치로 가능하게 한다는 것을 보여주는 것.

제안 방법

• 모든 계산 가능한 스토하스틱 정 politics와 하향 반순계산 가능한 사전에 대한 베이즈 최적 정 politics를 포함할 수 있는 충분히 큰 반사적 오라클로 계산 가능한 환경의 클래스를 구성한다.
• 반사적 오라클 — 확률적 튜링 기계의 출력 확률에 대해 질의에 답하는 확률적 오라클로, 기계가 오라클을 재귀적으로 질의하는 경우에도 작동한다.
• 충분한 탐색을 보장하기 위해 정 politics 선택 기제로 톰슨 샘플링을 사용하여, 알려지지 않은 환경에서 ε-나시 균형에 수렴하도록 한다.
• 이론적 결과가 계산적으로 근사 가능하도록 정 politics 클래스의 극한 계산 가능성을 확보한다.
• 일반 강화 학습에서 톰슨 샘플링의 점점 증가하는 최적성에 관한 이전 연구 결과를 다중 에이전트 설정에 적용한다.
• 에이전트의 정 politics가 공동 환경 역학 하에서 점점 증가하는 확률로 ε-최적 반응이 되는 것으로 보여줌으로써 ε-나시 균형에 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 모든 계산 가능한 정 politics와 그들의 베이즈 최적 대응을 포함하는 단일 정 politics 클래스를 구성할 수 있는가? 이는 곡물의 진리 문제를 해결하는가?
• RQ2 베이지안 에이전트가 알려지지 않은 다중 에이전트 환경에서 최적 행동을 하지 못하는 조건는 무엇이며, 그 이유는 무엇인가?
• RQ3 적절한 환경 클래스 위에서 톰슨 샘플링을 사용하면 임의의 알려지지 않은 계산 가능한 다중 에이전트 환경에서 ε-나시 균형에 수렴하는가?
• RQ4 이론적으로 최적의 해결책을 계산적으로 근사하는 것은 가능한가?

주요 결과

• 반사적 오라클로 계산 가능한 환경의 클래스는 모든 계산 가능한 스토하스틱 정 politics와 하향 반순계산 가능한 사전에 대한 모든 베이즈 최적 정 politics를 포함하며, 곡물의 진리 문제를 해결한다.
• 베이지안 에이전트는 곡물의 진리가 있더라도 탐색이 부족하여 알려지지 않은 환경에서 최적 행동을 하지 못할 수 있다.
• 반사적 오라클로 계산 가능한 클래스 위에서 톰슨 샘플링을 사용하면, 어떤 알려지지 않은 계산 가능한 다중 에이전트 환경에서나 에이전트가 점점 증가하는 ε-나시 균형에 수렴한다.
• 정 politics 클래스는 극한 계산 가능하므로, 이론적 해결책에 대해 임의로 가까운 계산적 근사치를 제공할 수 있다.
• 모든 ε > 0에 대해, 공동 환경 역학 하에서 시간 t → ∞일 때 각 에이전트의 정 politics가 ε-최적 반응일 확률은 1에 수렴한다.
• 에이전트가 환경의 구조를 사전에 모를 경우, 예를 들어 반복적인 동전 맞추기 게임이나 알려지지 않은 게임에서도 결과가 성립한다.