[논문 리뷰] From Gameplay to Symbolic Reasoning: Learning SAT Solver Heuristics in the Style of Alpha(Go) Zero

Fei Wang, Tiark Rompf|arXiv (Cornell University)|2018. 02. 14.

Machine Learning in Materials Science참고 문헌 7인용 수 3

한 줄 요약

이 논문은 부울 만족성 문제(SAT)와 같은 기호적 추론 문제를 게임으로 모델링하여 딥 강화학습을 활용해 최적의 결정 히ュ리스틱을 학습하는 방법을 제안한다. SAT 해결을 순차적 결정 게임으로 모델링하고 알파(고) 제로 스타일의 강화학습을 적용함으로써, 기존의 딥큐와 전통적인 히ュ리스틱에 비해 더 뛰어난 일반화 능력과 정확도를 확보하였다. 이는 신경망을 활용한 기호적 추론에 대해 모듈러하고 효율적이며 정확한 접근법을 보여준다.

ABSTRACT

Despite the recent successes of deep neural networks in various fields such as image and speech recognition, natural language processing, and reinforcement learning, we still face big challenges in bringing the power of numeric optimization to symbolic reasoning. Researchers have proposed different avenues such as neural machine translation for proof synthesis, vectorization of symbols and expressions for representing symbolic patterns, and coupling of neural back-ends for dimensionality reduction with symbolic front-ends for decision making. However, these initial explorations are still only point solutions, and bear other shortcomings such as lack of correctness guarantees. In this paper, we present our approach of casting symbolic reasoning as games, and directly harnessing the power of deep reinforcement learning in the style of Alpha(Go) Zero on symbolic problems. Using the Boolean Satisfiability (SAT) problem as showcase, we demonstrate the feasibility of our method, and the advantages of modularity, efficiency, and correctness guarantees.

연구 동기 및 목표

• 딥 신경망을 기호적 추론과 통합하는 데 도전하는 것, 특히 SAT와 같은 이산적이고 논리 기반 문제에 초점을 맞추는 것.
• 기존 접근법의 한계—정확도 보장 부족, 일반화 능력 열악, 특정 솔루션에 의존성—을 극복하기 위해 기호적 추론을 게임으로 재정의하는 것.
• 기호적 문제에 대해 모듈러하고 정확도 보장이 보장되는 프레임워크 내에서 딥 강화학습의 결정 능력을 활용하는 것.
• 알파(고) 제로 스타일의 학습이 딥큐보다 기호적 추론 작업에서 더 나은 일반화 능력을 보이는지 평가하는 것, 이를 위해 SAT를 기준으로 삼는 것.
• 신경망이 높은 수준의 기호적 추론 패턴(예: 분기 히ュ리스틱)을 학습하면서도 기호적 해석 가능성과 정확도를 유지할 수 있음을 보여주는 것.

제안 방법

• 부울 만족성 문제를 순차적 정규형(CNF)으로 표현하고, 행이 절들, 열이 변수들이며, 극성은 (1,0) 또는 (0,1)로 표현된 희소 인접 행렬로 표현한다.
• 강화학습을 위한 상태 임bedding를 생성하기 위해 컨volutional 신경망(CNN)을 사용하여 행렬 표현을 처리한다.
• 미니SAT SAT 솔버를 게임 기반 환경(Gym 스타일)으로 확장하여, 강화학습 에이전트가 가역적 시뮬레이션을 통해 상호작용할 수 있도록 한다.
• 알파(고) 제로 알고리즘 내에서 몬테카를로 트리 탐색(MCTS)을 사용하여 탐색을 안내하고 정책 및 가치 네트워크 학습을 향상시킨다.
• 동일한 SAT 게임 환경에서 두 가지 강화학습 알고리즘—딥큐와 알파(고) 제로—를 훈련시키며, 후자는 결정 지침을 위한 정책 벡터(pi)와 상태 가치(v)를 학습한다.
• 문제를 해결하기 위한 분기 결정 수를 기반으로 보상 신호를 사용하며, 낮은 수치가 더 좋은 성능을 의미한다.

실험 결과

연구 질문

• RQ1 SAT와 같은 기호적 추론 문제를 효과적으로 게임으로 모델링하여 딥 강화학습을 활용한 히ュ리스틱 학습이 가능한가?
• RQ2 두 알고리즘이 훈련 데이터에서 수렴하더라도, 알파(고) 제로 스타일의 강화학습이 딥큐보다 기호적 추론 작업에서 더 나은 일반화 능력을 보이는가?
• RQ3 게임 기반의 SAT 환경에서 자기대칭 학습(self-play)을 통해 훈련된 신경망이 수작업으로 설계된 히ュ리스틱인 VSIGS보다 뛰어난 히ュ리스틱을 학습할 수 있는가?
• RQ4 게임 기반 프레임워크의 모듈러 설계가 다양한 기호적 추론 문제에 대해 얼마나 재사용 가능한가?
• RQ5 알파(고) 제로에서 MCTS 및 가치/정책 네트워크의 사용이 딥큐의 Q-가치 학습에 비해 더 나은 기호적 추론 일반화를 어떻게 기여하는가?

주요 결과

• 알파(고) 제로 알고리즘은 32개의 SAT 문제로 구성된 훈련 세트에서 거의 최적의 성능을 달성했고, 200개의 테스트 문제 세트로의 일반화 능력도 뛰어났다.
• 딥큐는 훈련 세트에서는 수렴했지만 테스트 세트로의 일반화에 실패하여 특정 상태-행동 쌍에 과적합된 것으로 나타났다.
• 두 강화학습 모델 모두 VSIGS 히ュ리스틱을 사용한 미니SAT 솔버보다 평균 분기 결정 수가 적어 더 나은 성능을 보였다.
• 알파(고) 제로 모델은 미니SAT보다 평균적으로 훨씬 적은 분기 결정 수를 요구하여 더 뛰어난 히ュ리스틱 품질을 입증했다.
• 행동를 유효한 분기 결정로만 제한함으로써 정확도를 유지하여 잘못된 이동이나 잘못된 해답이 발생하지 않도록 보장한다.
• 이 방법은 모듈러성을 유지하며, 동일한 신경망과 게임 인터페이스를 최소한의 수정으로 다른 기호적 추론 문제에 적용할 수 있다.