[논문 리뷰] Transfer of Fully Convolutional Policy-Value Networks Between Games and Game Variants

Dennis J. N. J. Soemers, Vegard Mella외 4명|arXiv (Cornell University)|2021. 02. 24.

Artificial Intelligence in Games참고 문헌 29인용 수 5

한 줄 요약

이 논문은 Ludii의 일관된 텐서 표현을 활용해 다양한 체스형 보드 게임과 그 변형에 걸쳐 완전 컨volutional 정책-가치 네트워크에 대한 전이 학습 프레임워크를 제안한다. 게임 간 채널 수준의 특징에서 공유되는 의미론적 특성들을 활용함으로써, 차원이 다를 수 있는 보드 크기, 모양, 규칙을 가진 게임 간에도 효과적인 제로샷 및 피니튜닝 전이를 가능하게 하여, 핵심 전이 시나리오에서 승률이 90%를 초과하는 강력한 성능을 달성한다.

ABSTRACT

In this paper, we use fully convolutional architectures in AlphaZero-like self-play training setups to facilitate transfer between variants of board games as well as distinct games. We explore how to transfer trained parameters of these architectures based on shared semantics of channels in the state and action representations of the Ludii general game system. We use Ludii's large library of games and game variants for extensive transfer learning evaluations, in zero-shot transfer experiments as well as experiments with additional fine-tuning time.

연구 동기 및 목표

• 다양한 보드 크기, 모양, 규칙을 가진 보드 게임과 그 변형 간 효과적인 전이 학습을 가능하게 하기 위해.
• 최소한의 아키텍처 변경 또는 재학습 없이도 정책과 가치를 다양한 게임 간에 전이하는 데 도전하기 위해.
• 상태 및 행동 표현 간의 공유 의미론적 채널을 식별하기 위해 Ludii의 게임에 관계없는 텐서 표현을 활용하기 위해.
• 다양한 게임과 변형 간 전이 성능을 평가하여 제로샷 및 피니튜닝 설정을 포함하기 위해.
• Ludii의 게임 라이브러리를 게임 AI 분야에서의 전이 학습을 위한 새로운 벤치마크로 확립하기 위해.

제안 방법

• 변동하는 공간 차원을 처리하기 위해 Polygames 프레임워크에서 유도한 완전 컨volutional 신경망과 글로벌 풀링을 활용한다.
• 상태 및 행동에 대한 Ludii의 일관되고 게임에 관계없는 텐서 표현을 활용하여, 공유된 채널 의미론을 통한 게임 간 특징 정렬을 가능하게 한다.
• 동일한 의미론적 채널(예: 플레이어의 기물, 제어 영역 등) 간의 매핑을 통해 사전에 학습된 정책-가치 네트워크 가중치를 전이한다.
• 채널 의미론이 정렬된 게임 간에 직접 가중치를 전이함으로써 제로샷 전이를 수행한 후, 타겟 도메인의 동역학에 적응하기 위해 피니튜닝을 적용한다.
• 아키텍처 호환성을 확보하면서도 전이 가능성을 유지하기 위해 피니튜닝 실험에서 은닉층의 채널 수를 조정한다.
• 자기대쉬(Self-play)와 몬테카를로 트리 서치(MCTS)를 활용하고, MCTS 롤아웃에 대한 지도학습을 통해 정책-가치 네트워크를 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 다른 보드 크기, 모양, 규칙 집합을 가진 서로 다른 보드 게임 간에 완전 컨volutional 정책-가치 네트워크를 효과적으로 전이할 수 있는가?
• RQ2 Ludii의 텐서 포맷에서 의미론적으로 정렬된 채널 표현을 가진 게임 간에 제로샷 전이가 얼마나 성공할 수 있는가?
• RQ3 아키텍처나 의미론적 불일치가 있는 게임 간 전이 성능은 피니튜닝을 통해 어떻게 향상되는가?
• RQ4 상태 및 행동 표현 간의 공유 의미론적 채널은 게임 간 전이를 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 Ludii의 큰 게임 라이브러리는 게임 AI 분야에서의 전이 학습을 위한 확장 가능한 벤치마크로 기능할 수 있는가?

주요 결과

• 제로샷 전이에서 Hasami Shogi에서 Shogi로 전이할 경우 89.00%의 승률을 기록하여, 서로 다른 게임 간 강력한 일반화 능력을 입증했다.
• 피니튜닝 후, LineSize5Square에서 Yavalath로의 전이에서 70.00%의 승률을 기록하여, 새로운 게임 메커니즘에 효과적으로 적응함을 시사했다.
• Shogi 변형 간 전이에서는 피니튜닝 후 최대 86.67%의 승률(예: Minishogi에서 Shogi로 전이)을 기록하여 기물 수와 보드 크기 변화에 대한 강건성을 입증했다.
• Hex 변형에서는 $11 \times 11$ 대각선 Hex에서 $13 \times 13$ 표준 Hex로의 전이가 피니튜닝 후 97.33%의 승률을 기록하여 대칭적 게임에서 뛰어난 전이 가능성과 성능을 입증했다.
• 채널 수 조정 조건 하에서도 Connect6와 Gomoku와 같은 선 완성 게임 간 전이가 피니튜닝 설정에서 93.00%의 승률을 기록하여 아키텍처 제약 조건 하에서도 효과적임을 입증했다.
• 가장 도전적인 케이스인 $19 \times 19$ Hex 미세어에서 $13 \times 13$ 표준 Hex로의 전이에서도 피니튜닝 후 99.33%의 승률을 기록하여, 복잡하고 대칭적인 도메인에서 매우 높은 전이 가능성과 성능을 입증했다.