[논문 리뷰] Consequentialist conditional cooperation in social dilemmas with imperfect information

Alexander Peysakhovich, Adam Lerer|arXiv (Cornell University)|2017. 10. 19.

Evolutionary Game Theory and Cooperation참고 문헌 42인용 수 21

한 줄 요약

이 논문은 관찰된 보상에 기반하여 행동을 관찰하지 않고도 협력을 조건화하는 강화학습 기반 전략인 결과론적 조건부 협력(Consequentialist Conditional Cooperation, CCC)을 소개한다. 이는 정보가 불완전한 사회적 딜레마 상황에서도 효과적인 협력을 가능하게 하며, 비결정적이고 부분 관측 가능한 환경(예: 어족 자원 어획 딜레마, Pong 플레이어의 딜레마)에서 전방향 전략보다 뛰어난 성능을 보이며, 에르고딕 게임에서는 장기적 보상 보장을 보장한다. 다만 보상이 노이즈가 많을 경우 배신을 감지하는 데 느릴 수 있다.

ABSTRACT

Social dilemmas, where mutual cooperation can lead to high payoffs but participants face incentives to cheat, are ubiquitous in multi-agent interaction. We wish to construct agents that cooperate with pure cooperators, avoid exploitation by pure defectors, and incentivize cooperation from the rest. However, often the actions taken by a partner are (partially) unobserved or the consequences of individual actions are hard to predict. We show that in a large class of games good strategies can be constructed by conditioning one's behavior solely on outcomes (ie. one's past rewards). We call this consequentialist conditional cooperation. We show how to construct such strategies using deep reinforcement learning techniques and demonstrate, both analytically and experimentally, that they are effective in social dilemmas beyond simple matrix games. We also show the limitations of relying purely on consequences and discuss the need for understanding both the consequences of and the intentions behind an action.

연구 동기 및 목표

• 파트너의 행동이 부분적으로 관측되거나 결과가 불확실한 상황에서 다중 에이전트 협력을 위한 전략을 개발하는 것.
• 행동 관측이나 정책 모델링에 의존하지 않고 관측된 보상에만 기반하여 협력을 조건화하는 강화학습 기반 접근법을 설계하는 것.
• 보상 기반 조건부 협력(CCC)이 복잡한 부분 관측 마르코프 게임에서 상호 협력을 유지하고, 배신을 방지하며, 높은 장기적 보상을 보장할 수 있음을 입증하는 것.
• amTFT와 같은 전방향 전략과의 비교를 통해 탐지 가능성, 계산 비용, 불확실성 하에서의 강건성 측면에서의 상호 상충 관계를 분석하는 것.
• 결과 중심 전략의 한계를 탐색하고, 인간-AI 상호작용에서 결과 신호와 의도 신호를 조합한 하이브리드 모델의 필요성을 주장하는 것.

제안 방법

• 에이전트가 과거 보상의 시간 평균에 기반하여 협력을 학습하는 딥 강화학습 프레임워크를 제안한다. 협력 여부는 임계값 기반 규칙에 의해 결정된다.
• CCC는 누적 또는 평균 보상이 동적으로 학습된 임계값을 초과할 경우 협력하도록 정의되며, 이는 자기 연습과 가치 함수 근사 기반으로 유도된다.
• 에르고딕 구조를 고려하여 장기적 보상 보장을 보장하는 임계값 정책을 학습하기 위해 자기 연습 방식을 사용한다.
• 행동 관측이 불가능하고 보상이 확률적인 부분 관측 마르코프 게임(예: 어족 자원 어획 게임, Pong 플레이어의 딜레마)에 CCC를 적용한다.
• 분석적 및 실험적 평가를 통해 CCC를 amTFT(미래 보상을 모델링하는 전방향 전략)와 비교한다.
• 확률적 결과 분포를 포함한 다양한 보상 구조에서 성능을 평가하여 탐지 가능성과 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 관측된 보상에만 기반하여 의사결정을 내리는 전략이 정보가 불완전한 사회적 딜레마 상황에서 효과적으로 협력을 유지할 수 있는가?
• RQ2 부분 관측 게임에서 의도 기반의 전방향 전략(예: amTFT)과 비교해 결과론적 조건부 협력(PPP)의 성능은 어떠한가?
• RQ3 보상이 확률적이거나 지연될 경우 CCC의 배신 탐지에 대한 유한 시간적 한계는 무엇인가?
• RQ4 어떤 유형의 게임에서 행동 관측이 불가능하더라도 CCC는 장기적 보상 보장을 달성할 수 있는가?
• RQ5 불확실성 하에서 결과 기반 협력 신호와 의도 기반 협력 신호는 안정적인 협력을 지원하는 데 있어 어떤 정도의 능력을 가지는가?

주요 결과

• CCC는 관찰된 파트너 행동이 없더라도 시간 평균 보상에 기반하여 협력을 조건화함으로써, 에르고딕 게임에서 장기적 보상 보장을 보장한다.
• 어족 자원 어획 게임에서 CCC 에이전트는 협력자와 성공적으로 협력하고, 배신을 피하며, 서로를 만날 경우 높은 보상을 달성한다.
• 확률적 벌칙이 존재하는 Pong 플레이어의 딜레마(P = 0.1)에서, CCC 에이전트는 중간 길이의 게임(1000단계) 동안는 배신을 느리게 탐지하여 약탈을 당했다.
• 느린 탐지에도 불구하고, CCC는 단순성과 POMDP에의 적용 가능성 측면에서 amTFT를 능가했으며, 특히 정책 모델링이 불가능한 상황에서 유리했다.
• 실험 결과는 CCC가 많은 환경에서 강건하고 효율적이지만, 기대 보상은 같지만 결과의 분산이 클 경우 실패함을 보여주며, 하이브리드 모델의 필요성을 강조한다.
• 코인과 PPD에서의 실험 결과는 CCC의 성능이 어족 자원 어획 게임과 유사함을 확인하여, 대칭적이고 부분 관측 가능한 사회적 딜레마 전반에 걸쳐 일반화 가능함을 지지한다.