[논문 리뷰] Online Learning in Iterated Prisoner's Dilemma to Mimic Human Behavior

Baihan Lin, Djallel Bouneffouf외 1명|arXiv (Cornell University)|2020. 06. 09.

Evolutionary Game Theory and Cooperation인용 수 4

한 줄 요약

이 논문은 반복적 협력자 딜레마(IPD)에서 온라인 학습 알고리즘—다중 손잡이 밴딧, 컨텍스트 밴딧, 강화 학습—의 성능을 평가하여 사회적 딜레마 상황에서의 행동과 인간 행동을 모방하는 능력을 분석한다. 결과적으로 컨텍스트 밴딧는 현재의 맥락에 과도하게 의존함으로써 성능이 열 劣하며, 단순한 밴딧가 인간의 의사결정을 가장 잘 반영함을 발견하여, 인간이 IPD에서 상황적 맥락을 사용하지 않을 수 있음을 시사한다.

ABSTRACT

As an important psychological and social experiment, the Iterated Prisoner's Dilemma (IPD) treats the choice to cooperate or defect as an atomic action. We propose to study the behaviors of online learning algorithms in the Iterated Prisoner's Dilemma (IPD) game, where we investigate the full spectrum of reinforcement learning agents: multi-armed bandits, contextual bandits and reinforcement learning. We evaluate them based on a tournament of iterated prisoner's dilemma where multiple agents can compete in a sequential fashion. This allows us to analyze the dynamics of policies learned by multiple self-interested independent reward-driven agents, and also allows us study the capacity of these algorithms to fit the human behaviors. Results suggest that considering the current situation to make decision is the worst in this kind of social dilemma game. Multiples discoveries on online learning behaviors and clinical validations are stated, as an effort to connect artificial intelligence algorithms with human behaviors and their abnormal states in neuropsychiatric conditions.

연구 동기 및 목표

• 반복적 협력자 딜레마(IPD)와 같은 사회적 딜레마 게임에서 온라인 학습 에이전트의 행동 방식을 연구하기 위해.
• IPD 토너먼트에서 맥락에 주목함이 수익 극대화에 기여하는지 평가하기 위해.
• 다양한 온라인 학습 알고리즘이 반복적인 사회적 상호작용에서 인간의 행동 패턴을 정확히 모델링할 수 있는지 평가하기 위해.
• 행동 모델링을 통해 인공지능 학습 메커니즘과 신경정신의학적 장애 간의 연결 고리를 탐색하기 위해.
• 학습 편향이 인간 및 병적 의사결정을 어떻게 반영하거나 예측하는지 분석함으로써 인공지능과 신경정신의학을 연결하기 위해.

제안 방법

• 다양한 에이전트(쌍방, 삼자, '정신적' 에이전트 변형 포함)를 포함한 라운드 로빈 방식의 IPD 토너먼트를 실시한다.
• 세 가지 알고리즘 유형을 사용: 다중 손잡이 밴딧(맥락 없음), 컨텍스트 밴딧(맥락 기반), 강화 학습(상태 및 전이 기반).
• 인간 의사결정 데이터를 기반으로 행동 클로닝을 수행하여 알고리즘의 예측 정확도를 테스트한다.
• 반복적 상호작용 동안 누적 수익을 최적화하는 보상 중심의 자기 중심 학습 프레임워크를 적용한다.
• 다양한 IPD 설정에서의 실증적 평가를 통해 정책 역학과 학습 행동을 분석한다.
• 모든 결과의 재현 가능성을 확보하기 위해 오픈소스 코드와 데이터(GitHub에 공개)를 사용한다.

실험 결과

연구 질문

• RQ1 온라인 학습 에이전트가 반복적 협력자 딜레마에서 현재 맥락에 주목함으로써 수익 극대화를 향상시킬 수 있는가?
• RQ2 밴딧, 컨텍스트 밴딧, 강화 학습 등 다양한 온라인 학습 아키텍처는 사회적 딜레마 상황에서 성능 및 행동 역학 측면에서 어떻게 비교되는가?
• RQ3 온라인 학습 알고리즘이 반복적인 사회적 상호작용에서 인간 행동을 효과적으로 모방할 수 있는가?
• RQ4 이러한 학습 행동의 의미는 보상 처리 및 주의력 편향이 관여하는 신경정신의학적 장애 이해에 어떻게 기여하는가?
• RQ5 학습 알고리즘의 다양한 인덕티브 편향은 비정상적인 인간 의사결정 패턴을 어떻게 반영하거나 예측하는가?

주요 결과

• 컨텍스트 밴딧는 IPD 토너먼트에서 성능이 열 劣하여, 현재 상태에 집중하는 것이 사회적 딜레마 게임에서 최적화되지 않았음을 시사한다.
• 맥락이 없는 다중 손잡이 밴딧가 수익 극대화에서 가장 뛰어난 성능을 보이며, 맥락을 무시하는 것이 부분적인 맥락 인지보다 더 효과적일 수 있음을 시사한다.
• 밴딧 알고리즘은 인간 행동 데이터와 가장 잘 맞아떨어지며, 이는 인간이 IPD를 플레이할 때 맥락 정보를 사용하지 않을 수 있음을 암시한다.
• 결과는 사회적 딜레마에서 맥락 인지 의사결정이 최적이라는 가정을 도전하며, 현재 상태에 과도하게 집중하는 것이 해로울 수 있음을 시사한다.
• 시뮬레이션 결과는 ADHD, 우울증, 중독 등에서 관찰되는 보상 처리 결핍과 일치하며, 이 모델이 신경정신의학 연구에 관련성이 있음을 뒷받침한다.
• 본 연구는 인공지능 학습 프레임워크를 활용하여 인간 의사결정 메커니즘과 그 기능 장애를 모델링하고 이해하는 데 기초를 마련한다.