[논문 리뷰] Human-Agent Cooperation in Bridge Bidding

Edward Lockhart, Neil Burch외 5명|arXiv (Cornell University)|2020. 11. 28.

Reinforcement Learning in Robotics참고 문헌 15인용 수 4

한 줄 요약

이 논문은 암시 학습, 검색, 정책 반복을 조합하여 인간과 협력하는 데리기 입찰에서 AI 에이전트를 훈련시키는 강화 학습 접근법을 제시한다. 인간 전문가와 팀을 이루어 테이블당 0.97 IMPs의 성능 향상을 기록하며 기존의 강력한 수동으로 작성된 봇인 WBridge5를 능가했으며, 인간의 입찰 관례와 완전히 호환됨을 유지한다.

ABSTRACT

We introduce a human-compatible reinforcement-learning approach to a cooperative game, making use of a third-party hand-coded human-compatible bot to generate initial training data and to perform initial evaluation. Our learning approach consists of imitation learning, search, and policy iteration. Our trained agents achieve a new state-of-the-art for bridge bidding in three settings: an agent playing in partnership with a copy of itself; an agent partnering a pre-existing bot; and an agent partnering a human player.

연구 동기 및 목표

• 복잡하고 의사소통이 중요한 데리기 입찰 도메인에서 인간 플레이어와 효과적으로 협력할 수 있는 AI 에이전트를 개발하는 것.
• 기존 수동으로 작성된 봇을 능가하는 성능을 향상시키면서도 인간 입찰 체계와의 호환성을 유지하는 것.
• 암시 학습과 반복적 정책 개선을 통해 협력 전략을 학습하고 정교화하는 데이언스를 학습하는 것.
• 에이전트의 성능을 봇과의 대결 외에도 인간 전문가 플레이어와의 직접적인 팀 플레이 상황에서 평가하는 것.
• 보수적이고 소프트한 정책 업데이트를 사용하여 에이전트의 정책이 인간 관례와 호환되도록 보장하는 것.

제안 방법

• 메서드는 인간 친화적인 WBridge5 봇이 플레이한 손들의 데이터셋에서 암시 학습을 통해 정책을 초기화함으로써 시작된다.
• 검색 알고리즘이 현재 정책과 롤아웃 결과를 조합하여 미래의 잠재적 행동을 시뮬레이션함으로써 정책을 향상시키는 데 사용된다.
• 최대 16라운드까지 반복되는 정책 반복이 적용되며, 각 라운드는 현재 정책과 검색 결과를 기반으로 새로운 데이터셋을 생성하고, 이를 다시 정책을 재학습하는 방식이다.
• 훈련 중에 에이전트는 호환성을 확보하기 위해 WBridge5 정책을 파트너로 사용하며, 필요에 따라 테스트 시에 더 큰 검색을 적용하여 성능을 추가로 향상시킬 수 있다.
• 이 접근법은 파트너가 초기 정책을 따르는 것을 전제로 하며, 이는 상호 불일치 전략의 혁신을 억제하고 협업을 촉진한다.
• 최종 에이전트는 인간이 참여하는 환경에서 평가되었으며, 인간 전문가가 에이전트와 랜덤한 시트 위치에서 32세트의 게임 동안 팀을 이루어 플레이했다.

실험 결과

연구 질문

• RQ1 표준 인간 입찰 체계를 준수하면서도 인간과 협력할 수 있도록 AI 에이전트를 데리기 입찰에서 훈련시킬 수 있는가?
• RQ2 암시 학습과 정책 반복을 어떻게 조합하여 인간 친화성을 유지하면서 성능을 향상시킬 수 있는가?
• RQ3 강력한 수동으로 작성된 봇과 협력하도록 훈련된 에이전트가 인간 전문가와 팀을 이루어 플레이했을 때 그 봇을 능가하는가?
• RQ4 에이전트의 성능 향상 요인이 이중 듀머 플레이 가정이나 입찰 중 정보 은폐 때문인지, 아니면 진정으로 전략적 개선 때문인가?
• RQ5 기존 인간 관례와 호환성을 유지하면서도 기존의 확립된 봇을 능가할 수 있는가?

주요 결과

• 인간 전문가와 팀을 이루어 플레이했을 때, 에이전트는 테이블당 0.97 IMPs의 성능 향상을 기록했으며, 평균의 표준 오차는 0.76였다.
• 인간 전문가의 관찰에 따르면, 에이전트는 표준 미국-Yellow Card 체계를 준수했으며, 시스템이나 관례에서의 차이가 없었고, 유일한 차이점은 판단 능력에서였다.
• 에이전트는 경쟁적 입찰에서 약간 더 공격적인 경향을 보였으며, 현대 전문가 인간 플레이어의 관행과 일치했다.
• 에이전트는 더 단순하고 직접적인 입찰을 선호했으며, 이는 해석의 차이에 더 강건한 전략이었다.
• 성능 향상 요인이 이중 듀머 플레이 가정이나 입찰 중 정보 유출 여부 때문이 아니며, 진정한 전략적 개선임을 시사했다.
• 에이전트는 WBridge5와 호환성을 유지하면서도, 동일한 인간 전문가와 팀을 이루어 플레이했을 때 WBridge5를 능가했으며, 이는 강력한 인간 친화성과 협력 능력을 입증했다.