[논문 리뷰] Strategic Features for General Games

Cameron Browne, Dennis J. N. J. Soemers외 1명|arXiv (Cornell University)|2021. 01. 04.

Artificial Intelligence in Games참고 문헌 16인용 수 11

한 줄 요약

이 논문은 일반 게임에서 몬테카를로 트리 탐색(MCTS) 성능을 햖스하기 위해 경량이며 기하학적 구조에 의존하지 않는 기하학적 피스 특징을 제안한다. 이는 전개를 전략적으로 중요한 수를 향해 유도함으로써 성능 향상을 도모한다. 이 방법은 루디믹 게임 기술서에서 유도된 패턴 기반 특징을 사용하여, 다양한 게임 간 이식 가능성을 확보하고, 인공지능의 강도를 높이며, 인간이 이해할 수 있는 용어로 전략을 설명할 수 있도록 한다.

ABSTRACT

This short paper describes an ongoing research project that requires the automated self-play learning and evaluation of a large number of board games in digital form. We describe the approach we are taking to determine relevant features, for biasing MCTS playouts for arbitrary games played on arbitrary geometries. Benefits of our approach include efficient implementation, the potential to transfer learnt knowledge to new contexts, and the potential to explain strategic knowledge embedded in features in human-comprehensible terms.

연구 동기 및 목표

• 고대 및 전통 전략 게임의 규칙 집합 재구성 평가 및 개선을 위한 확장 가능한 방법을 개발하는 것.
• Ludii 일반 게임 시스템이 수천 종의 전통 게임을 인간 수준의 전문성으로 학습하고 플레이할 수 있도록 하는 것.
• 다양한 게임 기하학과 규칙 집합에 사용 가능한 경량이며 이식 가능한 특징으로 전략 지식을 식별하고 코딩하는 것.
• 루디믹 게임 구성 요소를 통해 학습된 특징을 인간이 이해할 수 있는 전략 개념과 연결함으로써 설명 가능한 인공지능을 지원하는 것.
• 성능 향상과 전략적 설명을 모두 지원하는 자동 특징 생성을 위한 체계적인 프레임워크를 구축하는 것.

제안 방법

• 기하학적 패턴(예: '.', 'o', 'x', 'P n', 'I n', '!'를 통해 부정을 나타내는 등)을 사용한 기호 요소와, 장려 또는 금지할 행동을 조합하여 특징을 정의한다.
• 최소한의 필수 패턴(예: 비어 있는 'to' 위치)을 조합하고 게임에 특화된 루디믹 기술서를 활용하여 후보 특징을 생성함으로써 구조적 일관성을 확보한다.
• 특징 기반 전개를 갖춘 자기대전 MCTS를 사용하여 특징 집합을 평가하고 개선함으로써, 무작위 상대방에 대한 체계적 패턴 탐색과 같은 비효율적 접근을 피한다.
• 각 게임 구성 요소가 이름이 붙은 자바 클래스로 구성된 루디믹 모델을 활용하여 특징을 게임 규칙로 다시 매핑하고, 다양한 게임 간 전략 지식의 이식 가능성을 확보한다.
• 무작위 또는 히ュ리스틱 기반 기준이 아닌, 지능적인 MCTS 상대방과의 반복적 평가를 통해 특징 품질을 평가한다.
• 특징 패턴을 사용하여 단순한 전략(예: 네 개의 선형 형성, 세 개의 연속 방지)을 코딩하고, 역공학적 방법을 통해 영문 설명을 도출한다.

실험 결과

연구 질문

• RQ1 일반 게임에서 MCTS 성능을 향상시키기 위해 자동으로 생성 가능한 경량이며 기하학적 구조에 의존하지 않는 특징는 어떻게 설계할 수 있는가?
• RQ2 루디믹 게임 기술서에서 유도된 특징는 다양한 게임과 보드 기하학에 걸쳐 얼마나 효과적으로 이식 가능한가?
• RQ3 학습된 특징는 '세 개의 그룹 형성'이나 '세 개의 연속 방지'와 같은 인간이 이해할 수 있는 전략 개념을 인코딩하고 설명할 수 있는가?
• RQ4 특징 집합이 의도치 않은 행동을 유도하지 않고 의미 있는 AI 성능 향상을 이끌어내기 위해 어떤 평가 전략이 필요한가?
• RQ5 루디믹과 학습된 특징 간의 관계를 어떻게 활용하여 설명 가능한 전략 지식을 역공학적으로 도출할 수 있는가?

주요 결과

• 특징 기반 MCTS는 하프와 Y와 같은 연결 게임에서 인공지능의 전력 수준을 크게 향상시키며, 특히 다리 완성과 같은 핵심 패턴이 우선시될 경우에 두드러진다.
• 기하학적 피스 패턴은 '.'(우리 편), 'x'(적대자), '!'(부정) 등의 기호 요소로 정의되어 전략 지식을 효과적으로 인코딩하며, 보드 기하학에 의존하지 않는다.
• 루디믹 게임 기술서에서 유도된 후보 특징 집합은 특징 생성의 강력한 기초를 제공하여 검색 공간을 줄이고 관련성을 높인다.
• 감독 학습 또는 체계적 패턴 탐색 접근법은 지능적인 상대방에 대해 예측 불가능한 행동을 보이므로 비효율적임이 밝혀졌으며, 이는 MCTS 기반 기준에 의한 평가가 필수적임을 시사한다.
• 특징는 '네 개의 선형 형성'이나 '세 개의 그룹 형성 방지'와 같은 영문 전략 개념으로 매핑될 수 있으며, 일반 게임 플레이에서 설명 가능한 인공지능을 실현할 수 있다.
• 루디믹 모델은 관련 게임 간 특징의 체계적 이식 가능성을 가능하게 하며, 특징 패턴이 명명된 게임 구성 요소(예: 'P2'는 플레이어 2의 피스)와 직접 연결되어 이해도를 향상시킨다.