[논문 리뷰] First-Order Problem Solving through Neural MCTS based Reinforcement Learning

Ruiyang Xu, Prashank Kadam외 1명|arXiv (Cornell University)|2021. 01. 11.

Artificial Intelligence in Games참고 문헌 30인용 수 5

한 줄 요약

이 논문은 일阶논리(FOL)로 표현 가능한 조합 문제를 이인성 의미 게임으로 매핑하는 Persephone 프레임워크를 소개한다. 이를 통해 신경망 기반 몬테카를로 트리 탐색(MCTS) 강화학습을 통한 해결이 가능해진다. 비대칭 신경망 설계, 온난시작(MCTS), KL-정규화된 PPO 정책 학습을 활용함으로써, 표준 AlphaZero 변종보다 뛰어난 샘플 효율성과 수렴 속도를 달성한다. 이는 FOL 문제에서 유도된 의미 게임에서 성과를 내고 있다.

ABSTRACT

The formal semantics of an interpreted first-order logic (FOL) statement can be given in Tarskian Semantics or a basically equivalent Game Semantics. The latter maps the statement and the interpretation into a two-player semantic game. Many combinatorial problems can be described using interpreted FOL statements and can be mapped into a semantic game. Therefore, learning to play a semantic game perfectly leads to the solution of a specific instance of a combinatorial problem. We adapt the AlphaZero algorithm so that it becomes better at learning to play semantic games that have different characteristics than Go and Chess. We propose a general framework, Persephone, to map the FOL description of a combinatorial problem to a semantic game so that it can be solved through a neural MCTS based reinforcement learning algorithm. Our goal for Persephone is to make it tabula-rasa, mapping a problem stated in interpreted FOL to a solution without human intervention.

연구 동기 및 목표

• 일阶논리 문제를 자동으로 의미 게임으로 매핑할 수 있는 일반적 프레임워크를 개발하는 것.
• 기존 체스나 오목과 같은 전통적 보드게임을 넘어, 해석된 일阶논리로 표현된 조합 문제를 신경망 기반 MCTS 기반 강화학습으로 해결할 수 있도록 확장하는 것.
• 맞춤형 알고리즘 개선을 통해 희박한 보상, 고차원 상태공간 문제에서 샘플 효율성과 수렴 속도를 향상시키는 것.
• 게임 구조의 대칭성과 비대칭성이 신경망 설계 및 학습 성능에 미치는 영향을 조사하는 것.
• 실제 FOL 문제, 특히 HSR를 포함하여 지표 기반 평가 및 성능 평가 기법을 사용하여 프레임워크를 검증하는 것.

제안 방법

• Tarskian 또는 게임 의미론을 사용하여 FOL 문제 인스턴스를 이인성 의미 게임으로 매핑함으로써, 게임이론적 문제 해결이 가능해진다.
• 신경망 기반 MCTS를 적용하여 정책 및 가치 네트워크를 사용해 트리 탐색을 유도하며, 선택에는 상한 신뢰도(UCB)를, 데이터 생성에는 자가대전(self-play)을 사용한다.
• 새로운 비대칭 신경망 아키텍처를 도입하여 각 플레이어에 대해 별도의 네트워크를 사용해 비대칭 게임 역학을 모델링한다.
• 온난시작(MCTS)을 적용하여 이전 반복에서의 사전 지식을 활용해 수렴 속도를 가속화한다.
• 정책 학습은 KL-발산 정규화된 PPO(근접 정책 최적화)를 사용하여 안정성과 샘플 효율성을 향상시킨다.
• 성능 평가는 지표 기반 평가(예: 장애 수 계산)와 알려지지 않은 최적 해가 있는 문제에 대해 에이로-레이팅 및 α-랭크와 같은 대체 평가 방법을 사용한다.

실험 결과

연구 질문

• RQ1 일阶논리 문제는 신경망 기반 MCTS 기반 강화학습에 적합한 의미 게임으로 효과적으로 변환될 수 있는가?
• RQ2 게임 구조의 비대칭성이 다중 에이전트 MDP에서 신경망 설계 및 성능에 어떤 영향을 미치는가?
• RQ3 온난시작 MCTS는 의미 게임 해결 시 수렴 속도와 샘플 효율성을 향상시키는가?
• RQ4 별도의 플레이어 네트워크와 KL-정규화된 정책 학습이 비대칭 의미 게임에서 성능에 어떤 영향을 미치는가?
• RQ5 지표 기반 해가 알려지지 않은 상황에서 에이로-레이팅 및 α-랭크와 같은 성능 평가 기법이 수렴을 신뢰성 있게 추적할 수 있는가?

주요 결과

• KL-정규화된 PPO에 온난시작 MCTS와 별도의 플레이어 네트워크를 적용한 설정이 가장 뛰어난 성능을 보였으며, 표준 AlphaZero 및 다른 변종보다 뛰어났다.
• 온난시작 MCTS는 훈련 시간을 크게 단축시켰으며, 비온난시작 기반 설정보다 더 빠른 수렴을 보였다.
• 별도의 플레이어 네트워크는 비대칭 게임에서 학습 효율성과 성능을 향상시켰으며, 특히 상대방 네트워크의 정책 손실이 빠르게 수렴하는 것으로 나타났다.
• CE 설정에서 가치 네트워크가 너무 빨리 국소 최적점에 도달하여 전체 학습 속도가 저하되고 훈련 시간이 증가했다.
• 에이로-레이팅 및 α-랭크를 통한 성능 평가에서 명확한 단계 전이가 관찰되어 최적 전략이 성공적으로 발견된 것으로 나타났으며, 특히 HSR(4,4,16)에서는 8번째 반복에서 550점의 에이로 점수 상승을 보였다.
• HSR(3,3,8)에서는 두 플레이어가 빠르게 0개의 장애를 기록하여 몇 차례 반복 내에 지표 기반 해에 수렴한 것으로 확인되었다.