[논문 리뷰] Evolutionary Approach to Collectible Card Game Arena Deckbuilding using Active Genes

Jakub Kowalski, Radosław Miernik|arXiv (Cornell University)|2020. 01. 05.

Artificial Intelligence in Games참고 문헌 12인용 수 9

한 줄 요약

이 논문은 비결정성과 알 수 없는 카드 풀을 가진 수집형 카드 게임인 레전드 오브 코딩 앤 매지션의 아레나 모드에서 덱 빌드 전략을 최적화하기 위해 활성 유전자를 갖춘 진화 알고리즘을 제안한다. 각 드래프트에서 가장 관련성이 높은(활동적인) 유전자에만 유전적 연산자를 제한함으로써 학습 속도를 향상시키고, 노이즈가 많은 적합도 평가에도 불구하고 기준 대비 유의미하게 높은 승률을 달성한 일부 변종이 성능 향상을 이룬다.

ABSTRACT

In this paper, we evolve a card-choice strategy for the arena mode of Legends of Code and Magic, a programming game inspired by popular collectible card games like Hearthstone or TES: Legends. In the arena game mode, before each match, a player has to construct his deck choosing cards one by one from the previously unknown options. Such a scenario is difficult from the optimization point of view, as not only the fitness function is non-deterministic, but its value, even for a given problem instance, is impossible to be calculated directly and can only be estimated with simulation-based approaches. We propose a variant of the evolutionary algorithm that uses a concept of an active gene to reduce the range of the operators only to generation-specific subsequences of the genotype. Thus, we batched learning process and constrained evolutionary updates only to the cards relevant for the particular draft, without forgetting the knowledge from the previous tests. We developed and tested various implementations of this idea, investigating their performance by taking into account the computational cost of each variant. Performed experiments show that some of the introduced active-genes algorithms tend to learn faster and produce statistically better draft policies than the compared methods.

연구 동기 및 목표

• 알 수 없는 카드 풀과 비결정적인 적합도를 가진 수집형 카드 게임의 아레나 모드에서 효과적인 드래프트 전략을 발전시키는 데 도전한다.
• 유전자 연산자를 관련성이 높은 유전자 부분집합에만 집중시킴으로써 CCG 덱 빌드를 위한 진화 전략에서 계산 비용을 줄이고 학습 효율을 향상시킨다.
• 각 드래프트에서 유전자 전체의 가장 관련성이 높은 부분만 선택적으로 업데이트하는 활성 유전자 변종을 개발하고 평가함으로써 수렴성과 성능을 향상시킨다.

제안 방법

• 현재 드래프트에 관련성이 있는 동적 유전자 부분집합인 '활성 유전자' 개념을 도입하여, 이에 유전적 연산자를 적용한다.
• 전체 인구집단 선택 대신 특정 부분집합에서 부모와 자식을 융합함으로써 선택을 수행함으로써, 세대 간 관련 지식을 유지한다.
• 높은 비결정성 환경에서 덱 성능을 평가하기 위해 시뮬레이션 기반 적합도 추정을 사용한다.
• 드래프트 재사용 방식과 세대 스케줄링 방식의 차이에 따라 다양한 알고리즘 변종을 설계: AG_weights, AG_weights/Kg, AG_weights/2d.
• 동일한 드래프트를 여러 세대에 걸쳐 재사용함으로써 학습을 배치 처리함으로써, 필요한 시뮬레이션 수를 줄이면서도 성능을 유지한다.
• 정확한 비교를 위해 계산 비용 측정 기준을 도입하여, 세대 수와 시뮬레이션 수를 변종 간에 적절히 조정한다.

실험 결과

연구 질문

• RQ1 각 드래프트에서 활성 유전자에만 유전적 연산자를 적용하는 진화 알고리즘이 표준 진화 방법보다 CCG 아레나 덱 빌드에서 더 나은 성능을 내는가?
• RQ2 비결정성과 시뮬레이션 기반 적합도 평가 환경에서 활성 유전자 비율이 학습 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ3 활성 유전자를 사용할 경우, 세대 수와 세대당 게임 시뮬레이션 수 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 높은 노이즈가 있는 적합도 평가에도 불구하고 활성 유전자 변종은 기준 진화 방법보다 더 나은 성능을 내는가?
• RQ5 세대 간 드래프트를 재사용할 경우, CCG 아레나 모드에서 학습 과정의 신뢰성과 효율성에 어떤 영향을 미치는가?

주요 결과

• 특히 AG_weights/2d와 AG_weights/4d와 같은 일부 활성 유전자 변종이 기준 진화 방법(Evo_base)보다 통계적으로 더 나은 평균 성능을 달성했다.
• AG_weights/2d 변종은 기준보다 우수했으며, 최고 성능을 내지 못했음에도 불구하고 일관된 향상을 보였다.
• 활성 유전자 비율이 성능에 영향을 미치는 것으로 나타났으며, 낮은 비율(예: AG_weights에서 약 56%)이 높은 비율(예: AG_weights/4d에서 약 95%)보다 일반적으로 더 좋은 결과를 냈다. 다만 AG_weights에서는 이 경향이 덜 명확했다.
• 드래프트를 다수의 세대로 재사용한 AG_weights/Kg 변종은 세대당 평가 수가 부족하여 성능이 열악했으며, 이는 각 드래프트당 탐색이 너무 적은 것이 학습에 악영향을 미쳤음을 시사한다.
• 표준 접근 방식 대비 필요한 게임 시뮬레이션 수를 크게 줄였으며, 시뮬레이션 엔진을 사용해 30초 이내에 무작위 플레이어 수준의 성능을 달성했다.
• 전반적으로 활성 유전자 기반 알고리즘은 기준 방법보다 더 빠르게 학습하고 더 강력한 드래프트 정책을 생성했으며, 노이즈가 많고 변동성이 큰 CCG 환경에서 효과성을 입증했다.