[논문 리뷰] Learning in Repeated Games: Human Versus Machine

Fatimah Ishowo-Oloko, Jacob W. Crandall외 3명|arXiv (Cornell University)|2014. 04. 19.

Artificial Intelligence in Games참고 문헌 39인용 수 3

한 줄 요약

이 연구는 반복적인 일반합계 게임에서 인간과 전통적인 모델 기반 강화학습(Reinforcement Learning, RL) 에이전트와 비교하여 빠르게 수렴하는 AI 알고리즘(S++)의 성능을 평가한다. 58명의 참가자가 참여한 사용자 연구를 통해 S++가 협력과 조율 능력에서 인간 수준의 성능를 보이며, 인간이 관련하는 시간 척도에서 현대 AI가 인간의 직관과 맞먹는다는 것을 입증한다.

ABSTRACT

While Artificial Intelligence has successfully outperformed humans in complex combinatorial games (such as chess and checkers), humans have retained their supremacy in social interactions that require intuition and adaptation, such as cooperation and coordination games. Despite significant advances in learning algorithms, most algorithms adapt at times scales which are not relevant for interactions with humans, and therefore the advances in AI on this front have remained of a more theoretical nature. This has also hindered the experimental evaluation of how these algorithms perform against humans, as the length of experiments needed to evaluate them is beyond what humans are reasonably expected to endure (max 100 repetitions). This scenario is rapidly changing, as recent algorithms are able to converge to their functional regimes in shorter time-scales. Additionally, this shift opens up possibilities for experimental investigation: where do humans stand compared with these new algorithms? We evaluate humans experimentally against a representative element of these fast-converging algorithms. Our results indicate that the performance of at least one of these algorithms is comparable to, and even exceeds, the performance of people.

연구 동기 및 목표

• 현대 AI 알고리즘이 반복적인 사회적 상호작용에서 인간의 성능을 따라하거나 능가할 수 있는지 조사하기 위해.
• 이전에 AI 알고리즘이 인간이 관련하는 시간 척도(예: 100라운드 이상)에서 너무 느리게 적응해온 격차를 해결하기 위해.
• 반복적인 일반합계 게임에서 인간과 AI의 성능을 실험적으로 비교하여 협력과 적응 능력을 중점적으로 다루기 위해.
• 새로운 빠르게 수렴하는 AI 알고리즘이 다양한 게임 환경에서 인간과 다른 에이전트와 경쟁할 때의 성능을 평가하기 위해.
• AI가 반복적 상호작용에서 인간의 직관 수준의 사회지능에 도달했는지 판단하기 위해.

제안 방법

• 4개의 반복적인 정규형 게임에서 각 참가자들이 서로 및 AI 에이전트와 짝을 이루어 사용자 연구를 수행하였다.
• 최근 개발된 반복 게임을 위한 빠르게 수렴하는 학습 알고리즘인 S++를 사용하였으며, 이는 100라운드 내에서 적응하도록 설계되었다.
• S++를 모델 기반 강화학습(RL) 에이전트와 인간 플레이어와 비교하여 4개의 게임(협력의 딜레마, 사슴 사냥, 차디, 혼돈)에서 평가하였다.
• 자기 플레이 및 크로스 플레이 시나리오에서의 평균 라운드 당 보상 수준을 측정하여 성능을 평가하였다.
• 다양한 파트너 유형(인간, S++, 모델 기반 RL)에 대한 성능를 분석하여 적응성과 협력 품질을 평가하였다.
• 모든 게임 조건에서 50회의 시행을 통한 통계 분석을 수행하여 결과의 신뢰성을 확보하였다.

실험 결과

연구 질문

• RQ1 S++와 같은 빠르게 수렴하는 AI 알고리즘은 반복적인 일반합계 게임에서 인간 수준의 성능를 달성할 수 있는가?
• RQ2 다양한 게임 유형에서 S++는 인간과의 상호작용에서 협력과 보상 극대화 측면에서 어떤 성능를 보이는가?
• RQ3 S++는 인간과 다른 에이전트와의 상호작용에서 전통적인 모델 기반 RL 에이전트와 비교해 어떻게 성능를 보이는가?
• RQ4 S++는 다양한 게임 환경과 파트너 유형에서 일관된 적응성과 전략적 타협 능력을 보여주는가?
• RQ5 반복적인 게임에서 인간의 심리적 메커니즘이 현재의 AI 학습 알고리즘에 비해 여전히 뛰어나다고 볼 수 있는가?

주요 결과

• S++는 협력의 딜레마, 사슴 사냥, 차디, 혼돈의 4개의 반복 게임 전반에서 인간과 동등하거나 뛰어난 성능를 기록하였으며, 특히 자기 플레이 상황에서 인간과 모델 기반 RL 에이전트를 모두 압도하였다.
• 인간-AI 쌍에서 S++는 평균 라운드 당 보상 수준에서 인간과 동등한 성능를 보이며, 사람과 효과적으로 협력할 수 있음을 시사한다.
• 다른 S++ 에이전트와 짝을 이룬 경우, S++는 인간과 모델 기반 RL 에이전트보다 높은 평균 보상을 기록하여 상호 협력 능력이 뛰어나다는 것을 입증하였다.
• 모든 게임 유형과 파트너 구성에서 S++는 모델 기반 RL 에이전트를 일관되게 뛰어넘었으며, 인간과 다른 에이전트와의 상호작용에서도 마찬가지였다.
• 차디 게임에서는 초기 어려움에도 불구하고 S++가 시간이 지남에 따라 점진적으로 향상되어 결국 인간과 모델 기반 RL 성능을 따라하거나 능가하는 모습을 보였다.
• 결과는 S++가 반복적인 일반합계 게임에서 다양한 파트너와의 상호작용에 대해 빠르게 학습하고 적응할 수 있는 강력한 능력을 갖추고 있으며, 이러한 맥락에서 인간의 사회지능 수준에 도달했다는 것을 시사한다.