[논문 리뷰] Learning opening books in partially observable games: using random seeds in Phantom Go

Tristan Cazenave, Jialin Liu외 2명|arXiv (Cornell University)|2016. 07. 08.

Artificial Intelligence in Games참고 문헌 22인용 수 5

한 줄 요약

이 논문은 부분적으로 관찰 가능한 게임에서 랜덤 시드를 최적화하여 랜덤화된 인공지능의 성능을 향상시키는 방법을 제안한다. 특히 Phantom Go에서 높은 성능을 보이는 시드를 선택하거나 시드 분포에 대한 내쉬 균형을 계산함으로써 성능을 크게 향상시킨다. 학습된 오프닝 북에 BestSeed와 내쉬 기반 시드 선택을 적용한 결과, 5x5 보드에서 기준 AI에 대해 승률이 50%에서 70%로 상승하였고, 5x5, 7x7, 9x9 보드에서 더 강력한 상대에게는 근처 0%에서 40%로 상승하였다.

ABSTRACT

Many artificial intelligences (AIs) are randomized. One can be lucky or unlucky with the random seed; we quantify this effect and show that, maybe contrarily to intuition, this is far from being negligible. Then, we apply two different existing algorithms for selecting good seeds and good probability distributions over seeds. This mainly leads to learning an opening book. We apply this to Phantom Go, which, as all phantom games, is hard for opening book learning. We improve the winning rate from 50% to 70% in 5x5 against the same AI, and from approximately 0% to 40% in 5x5, 7x7 and 9x9 against a stronger (learning) opponent.

연구 동기 및 목표

• 믿음 상태 추정이 어려워지고 전통적 방법이 실패하는 부분적으로 관찰 가능한 게임에서 효과적인 오프닝 북을 학습하는 데 도전하는 것.
• 랜덤 시드 선택이 랜덤화된 AI의 성능을 상당히 향상시킬 수 있는지, 특히 은폐 정보가 있는 게임인 Phantom Go와 같은 게임에서의 성능 향상 여부를 조사하는 것.
• BestSeed, 내쉬 균형, 희소 내쉬와 같은 다양한 시드 최적화 전략을 평가하고 비교하여 AI의 강인성과 성능 향상을 도모하는 것.
• 오프라인 시드 최적화가 온라인 계산 비용을 전혀 수반하지 않아 확장 가능하고 효율적인 성능 향상 수단이 될 수 있음을 보여주는 것.
• 시드 분포 학습을 통한 강인한 오프닝 북 전략 학습을 통해, 특히 더 강력한 상대에게도 잘 일반화됨을 보여주는 것.

제안 방법

• 이 방법은 랜덤 시드의 포트폴리오를 사용하여 결정론적 정책을 샘플링하며, 각 시드를 게임 이론 프레임워크 내의 순전략으로 간주한다.
• BestSeed의 경우, K개의 게임에 대한 철저한 평가를 통해 기준 AI에 대해 성능을 최대화하는 단일 시드를 선택한다.
• 내쉬 접근법의 경우, K개의 시드 간 상대적 게임 결과를 바탕으로 K×K 수익 행렬을 구성하고, 선형 프로그래밍을 통해 시드에 대한 내쉬 균형 분포를 계산한다.
• 계산 비용을 줄이면서도 뛰어난 성능 유지를 위해 스파arsity 파라미터 α=0.75를 사용한 내쉬 접근법의 희소 버전을 적용한다.
• 모든 실험은 교차 검증과 적절한 통계적 평가를 사용하며, 결과는 기준 AI 및 더 강력한 상대 AI에 대한 승률로 보고된다.
• 이 방법은 랜덤 결정화된 은폐 상태를 가진 몬테카를로 플레이아웃에 의존하는, 상대의 수를 보지 못하고 기준 보드도 볼 수 없는 부분적으로 관찰 가능한 도전적인 게임인 Phantom Go에 적용된다.

실험 결과

연구 질문

• RQ1 일반적으로 시드의 영향이 미미하다고 여겨지는 부분적으로 관찰 가능한 게임에서, 랜덤 시드 선택이 랜덤화된 AI의 성능을 상당히 향상시킬 수 있는가?
• RQ2 내쉬 균형을 통한 시드 분포 학습에 비해, 단일 고성능 시드를 선택하는 BestSeed 방법의 성능은 얼마나 효과적인가?
• RQ3 내쉬 균형을 통한 시드 분포 학습이 기준 알고리즘보다 더 강력한 상대에게 대해 더 잘 일반화되는가?
• RQ4 내쉬 전략 분포의 희소성은 성능을 희생시키지 않으면서 얼마나 계산 비용을 절감하는가?
• RQ5 기존 오프닝 북 학습이 불가능한 은폐 정보가 있는 게임에 대해 오프라인 시드 최적화를 효과적으로 적용할 수 있는가?

주요 결과

• BestSeed 방법은 5x5 Phantom Go에서 기준 AI에 대해 71%의 승률을 기록하여 기존 50%에서 상당한 성능 향상을 보였다.
• 내쉬 기반 접근법은 5x5, 7x7, 9x9 보드에서 더 강력한 상대(K′=16)에 대해 약 0%에서 40%로 승률을 향상시켜 강력한 강인성을 입증하였다.
• α=0.75로 설정한 희소 내쉬 접근법은 5x5, 7x7, 9x9 보드 전역에서 기준보다 뛰어난 성능을 보였으며, 전략 공간이 감소한 상황에서도 효과적임을 확인하였다.
• 모든 최적화가 오프라인으로 수행되므로 온라인 계산 비용이 전혀 발생하지 않아, 기존의 랜덤화된 AI에 대해 '무료 보너스'와 같은 성능 향상이 가능하다.
• 내쉬 접근법은 BestSeed보다 과적합에 덜 민감하며, 더 강력한 상대에 대해 강력한 성능을 유지하는 반면, BestSeed는 기준 AI에 대해 더 효과적이다.
• 결과적으로 랜덤 시드 선택이 부정확하지 않으며, Phantom Go와 같은 도전적인 부분적으로 관찰 가능한 게임에서 AI 성능 향상에 체계적으로 활용될 수 있음을 보여주었다.