[논문 리뷰] Efficient Deviation Types and Learning for Hindsight Rationality in Extensive-Form Games

Dustin Morrill, Ryan D'Orazio외 4명|arXiv (Cornell University)|2021. 02. 13.

Artificial Intelligence in Games참고 문헌 47인용 수 9

한 줄 요약

이 논문은 광범위한 형식의 회상 합리적 학습을 위한 효율적인 알고리즘인 광범위한 형식의 회상 최소화(EFR)를 소개한다. EFR는 어떤 행동 이탈 집합에도 대응할 수 있으며, 계산 비용이 이탈 복잡도에 가깝게 증가하고, 부분 시퀀스 이탈 유형을 식별하여 강력한 성능을 내며, 일반적으로 전체 행동 이탈 성능에 근접하면서도 중간 길이의 게임에서 계산 가능하게 유지한다.

ABSTRACT

Hindsight rationality is an approach to playing general-sum games that prescribes no-regret learning dynamics for individual agents with respect to a set of deviations, and further describes jointly rational behavior among multiple agents with mediated equilibria. To develop hindsight rational learning in sequential decision-making settings, we formalize behavioral deviations as a general class of deviations that respect the structure of extensive-form games. Integrating the idea of time selection into counterfactual regret minimization (CFR), we introduce the extensive-form regret minimization (EFR) algorithm that achieves hindsight rationality for any given set of behavioral deviations with computation that scales closely with the complexity of the set. We identify behavioral deviation subsets, the partial sequence deviation types, that subsume previously studied types and lead to efficient EFR instances in games with moderate lengths. In addition, we present a thorough empirical analysis of EFR instantiated with different deviation types in benchmark games, where we find that stronger types typically induce better performance.

연구 동기 및 목표

• 일반합의 광범위한 형식의 게임(EFG)에서, 전망적 최적성 대신 전략 변형(이탈)에 대한 회상 기반 합리성으로 측정되는 스케일러블 프레임워크를 개발한다.
• EFG에서 모든 행동 이탈을 사용하는 것이 계산적으로 비가능한 문제를 해결하기 위해, 강력한 성능를 유지하면서도 효율적인 이탈 하위집합을 식별한다.
• EFG의 구조를 존중하는 행동 이탈을 정식화하고, 반사적 회상 최소화(CFR)에 시간 선택을 통합하여 일반적이고 확장 가능한 알고리즘을 만든다.
• EFR에 새로운 부분 시퀀스 이탈 유형을 적용한 경우의 이론적 회상 한계와 경험적 검증을 제공하며, 이는 이전 방법보다 향상된 성능을 보여준다.

제안 방법

• EFR(광범위한 형식의 회상 최소화)를 제안한다. 이는 결정점에서 행동 변형으로 분해된 임의의 행동 이탈 집합을 지원하는 CFR의 일반화이다.
• 외부, 인과, 행동, 반사적 등 이전에 연구된 유형을 포함하는 네 가지 새로운 부분 시퀀스 이탈 유형(TIPS, CSPS, BPS, CF)을 도입하여, EFR의 효율적 계산을 가능하게 한다.
• CFR에 시간 선택을 통합하여 관측 가능한 순차적 합리성을 확보하고, 반사적 및 부분 시퀀스 이탈이 각각 외부 및 인과 이탈을 포함하도록 한다.
• 각 새로운 이탈 유형에 대해 EFR의 하한선 회상 한계를 유도하고, 회상 합리성 기반으로 이론적 수렴 보장을 증명한다.
• 다양한 이탈 유형을 사용하여 EFR를 구현하고, OpenSpiel의 벤치마크 게임에서 성능을 평가하며, 학습 곡선과 승률을 비교한다.
• 고정 공유 예측 및 컨텍스트 트리 가중치 기법과 같은 기법을 향후 확장으로 고려하여, 회상 한계 복잡도와 계산 비용 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 광범위한 형식의 게임에서 임의의 행동 이탈 집합에 대해 회상 합리성을 달성하는 일반적인 회상 최소화 알고리즘을 설계할 수 있는가?
• RQ2 어떤 행동 이탈 하위집합이 중간 길이의 게임에서 효율적인 EFR 계산을 가능하게 하면서도 강력한 성능를 유지하는가?
• RQ3 다양한 이탈 유형(TIPS, CSPS, BHV 등)이 벤치마크 게임에서 회상 한계와 경험적 성능 측면에서 어떻게 비교되는가?
• RQ4 EFR에서 더 강력한 이탈 유형을 사용할 경우, 계산 효율성과 성능 사이의 상호 교환 관계는 어떠한가?
• RQ5 EFR는 전체 이탈 집합의 크기가 아니라 최적 이탈의 복잡도에 따라 확장될 수 있는가?

주요 결과

• 가장 강력한 부분 시퀀스 이탈 유형(TIPS)을 사용한 EFR는 일반적으로 전체 행동 이탈(BHv)을 사용한 경우와 거의 동일한 성능를 보이며, Sheriff에서 0.91의 승률, 3인용 Goofspiel에서 0.87의 승률을 기록한다.
• 더 강력한 이탈 유형은 일관되게 더 좋은 성능를 보인다: Goofspiel(고정)에서 BHv는 0.63의 승률을 기록한 반면, 가장 약한 ACT는 단지 0.51의 승률을 기록하여 명확한 성능 기울기 경향을 보였다.
• 내림차순 데크를 사용한 3인용 Goofspiel에서, CF 및 BPS 이탈은 수렴 이전의 초기 라운드에서 다른 이탈보다 뛰어난 성능를 보였으며, 이는 게임 구조와 초기 조건에 민감함을 시사한다.
• 학습 곡선은 더 강력한 이탈 유형이 더 느린 전략 업데이트를 유도함을 보여주며, 성능와 계산 속도 사이의 상충 관계를 시사한다.
• 반사적 이탈에 대한 TIPS EFR의 회상 한계는 CFR보다 크지만, TIPS EFR는 여전히 더 많은 보상을 누적하여 이론적 비용에 비해 실질적 우수성을 보였다.
• 경험적 결과는 EFR가 부분 시퀀스 이탈을 사용할 경우 하한선 회상과 관측 가능한 순차적 합리성을 달성함을 확인하며, 이는 이론적 프레임워크의 타당성을 검증한다.