[논문 리뷰] Evolution of Neural Networks to Play the Game of Dots-and-Boxes

Lex Weaver, Terry Bossomaier|ArXiv.org|1998. 09. 28.

Artificial Intelligence in Games참고 문헌 8인용 수 7

한 줄 요약

이 논문은 최적 해가 알려져 있지 않은 게임인 도트 앤 박스를 플레이하기 위해 인공 신경망을 진화시키는 방법을 제안한다. 공진화 학습을 통해 신경망은 최종 결과를 예측하는 대신 실제 게임 플레이를 통해 강력한 수를 추천하게 되며, 히우리스틱 오라클을 사용한 백프로파게이션 학습보다 더 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Dots-and-Boxes is a child's game which remains analytically unsolved. We implement and evolve artificial neural networks to play this game, evaluating them against simple heuristic players. Our networks do not evaluate or predict the final outcome of the game, but rather recommend moves at each stage. Superior generalisation of play by co-evolved populations is found, and a comparison made with networks trained by back-propagation using simple heuristics as an oracle.

연구 동기 및 목표

• 명시적인 게임 결과 평가에 의존하지 않고 도트 앤 박스를 플레이할 수 있는 신경망을 개발하는 것.
• 공진화된 신경망이 히우리스틱 가이던스를 사용한 백프로파게이션 학습과 비교해 더 나은 일반화 성능을 보일 수 있는지 조사하는 것.
• 경쟁적인 환경에서 단순 히우리스틱 플레이어와의 대결에서 진화된 네트워크의 성능을 평가하는 것.
• 전략적 깊이가 깊고 최적 전략이 알려져 있지 않은 게임에 대해 진화 계산을 사용해 에이전트를 훈련시키는 것이 가능한지 탐색하는 것.

제안 방법

• 신경망은 도트 앤 박스 게임을 반복적으로 플레이하는 데서 경쟁하는 플레이어들 간의 공진화 알고리즘을 사용해 훈련된다.
• 각 네트워크는 최종 게임 결과를 추정하지 않고, 각 게임 상태에서 수의 추천을 출력한다.
• 훈련 과정은 레이블이 부여된 예시를 사용한 백프로파게이션 대신 게임 성과에 기반한 피트니스를 사용한다.
• 성능은 히우리스틱 규칙을 오라클로 사용한 백프로파게이션으로 훈련된 네트워크와 비교된다.
• 아키텍처는 은닉층이 명시적으로 기술되지 않은 피드포워드 네트워크이지만, 학습 메커니즘은 가치 예측이 아닌 정책 진화에 중점을 둔다.
• 진화적 선택은 경쟁 네트워크 간의 토너먼트 방식의 승률에 기반한다.

실험 결과

연구 질문

• RQ1 공진화된 신경망은 도트 앤 박스를 플레이하는 데서 백프로파게이션으로 훈련된 네트워크를 능가할 수 있는가?
• RQ2 결과 예측 대신 수의 추천을 학습시키는 것이 이 게임에서 더 나은 일반화를 이끌어내는가?
• RQ3 진화 계산이 최적 전략이 알려져 있지 않은 게임에 대해 에이전트를 효과적으로 훈련시킬 수 있는가?
• RQ4 단순 히우리스틱 플레이어와 비교할 때 진화된 네트워크의 승률과 적응 능력은 어떠한가?

주요 결과

• 히우리스틱 오라클을 사용한 백프로파게이션으로 훈련된 네트워크와 비교해 공진화된 신경망이 더 뛰어난 일반화 성능을 보였다.
• 진화된 네트워크는 최종 게임 결과를 명시적으로 평가하지 않고도 강력하고 전략적인 플레이를 학습할 수 있었다.
• 경쟁적 플레이에서 성능 향상이 관찰되어 진화를 통해 게임 특화 전술을 효과적으로 학습했다는 것을 시사한다.
• 진화적 훈련에서 안정적인 수렴이 이루어져 복잡한 수 선택 학습의 강건성을 시사한다.
• 결과적으로 진화적 훈련은 전략적 복잡도가 높은 게임에서 히우리스틱 레이블을 사용한 지도 학습의 타당한 대안임을 나타낸다.