[논문 리뷰] Learning Heuristics for Quantified Boolean Formulas through Deep Reinforcement Learning

Gil Lederman, Markus N. Rabe외 2명|arXiv (Cornell University)|2018. 07. 20.

Machine Learning and Algorithms참고 문헌 47인용 수 8

한 줄 요약

이 논문은 양자화 불리안 공식(QBF) 솔버를 위한 고성능 분기 히وري스틱을 자동으로 학습하기 위해 딥 강화학습 기반 접근법을 제안한다. CADET 솔버에 그래프 신경망(GNN)을 통합하여 성능을 향상시켰다. 히وري스틱 선택 문제를 강화학습 문제로 재정의함으로써, 전체 해결 시간을 10배 감소시키고 기존 수작업 히وري스틱보다 훨씬 더 많은 공식을 해결하였다.

ABSTRACT

We demonstrate how to learn efficient heuristics for automated reasoning algorithms for quantified Boolean formulas through deep reinforcement learning. We focus on a backtracking search algorithm, which can already solve formulas of impressive size - up to hundreds of thousands of variables. The main challenge is to find a representation of these formulas that lends itself to making predictions in a scalable way. For a family of challenging problems, we learned a heuristic that solves significantly more formulas compared to the existing handwritten heuristics.

연구 동기 및 목표

• QBF 솔버의 성능을 높이기 위해 필수적이지만 설계가 어려운 효과적인 수작업 히وري스틱을 수작업으로 만드는 도전 과제를 해결하기 위해.
• 딥러닝을 형식적 추론 알고리즘과 통합하여 확장성과 이전에는 해결이 어려웠던 문제들을 해결하기 위해.
• QBF 인스턴스에서 솔버 행동을 직접 기반으로 하여 분기 히وري스틱을 학습하는 강화학습 프레임워크를 개발하기 위해.
• 해결 과정에서 생성 및 검증하는 공식 증명을 독립적으로 생성할 수 있는 솔버를 사용하여 정확성을 보장하기 위해.
• 신경망 기반 솔버에서의 표현 문제, 무한정 행동 공간, 장기 에피소드 길이, 높은 추론 오버헤드 등의 과제를 극복하기 위해.

제안 방법

• QBF를 연결 정규형(CNF) 구조를 사용하여 그래프로 모델링함으로써, 그래프 신경망(GNN)에 적합한 입력 표현을 가능하게 하였다.
• 백트래킹 검색 중 분기 결정(변수 및 값)을 선택하기 위해 딥 강화학습을 통해 훈련된 GNN 기반 정책 네트워크를 사용하였다.
• 강화학습 환경은 공식 증명 생성 기능을 갖춘 오픈소스 QBF 솔버인 CADET를 기반으로 구축되었다.
• 해결 시간과 성공/실패 결과에 기반한 희박한 보상(reward)을 제공함으로써, 더 빠르고 정확한 해결을 유도하였다.
• 샘플 효율성을 향상시키기 위해 커리큘럼 학습 전략을 사용하여 유사한 공식들에서 먼저 훈련하고, 이후 새로운 공식들로 일반화하였다.
• 추론 오버헤드를 줄이기 위해 모델은 작게 유지되었고, 신경망 추론의 비용에도 불구하고 저지연 결정을 위한 최적화가 이루어졌다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 수작업 히وري스틱에 비해 QBF 솔버를 위한 더 나은 분기 히وري스틱을 효과적으로 학습할 수 있는가?
• RQ2 변수 수에 따라 무한정 행동 공간을 가진 솔버에서, 긴 가변 길이의 에피소드를 가진 환경에서 신경망이 어떻게 결정을 내릴 수 있는가?
• RQ3 GNN 기반 정책은 다양한 QBF 인스턴스 간에 일반화할 수 있으며, 同시에 낮은 추론 오버헤드를 유지할 수 있는가?
• RQ4 최신 기술 수준의 솔버에 신경망 정책을 통합하면 전체 해결 성능과 확장성 향상에 기여하는가?
• RQ5 강화학습 에이전트가 문제를 해결하는 대신 구현 버그를 악용할 수 있기 때문에, 정확성은 어떻게 보장할 수 있는가?

주요 결과

• 학습된 히وري스틱은 QBF 공식 벤치마크 세트에서 CADET 솔버의 평균 해결 시간을 10배 감소시켰다.
• 기본 수작업 히وري스틱보다 훨씬 더 많은 공식을 해결했으며, 특히 도전적인 QBF 인스턴스 집합에서 두드러진 성능 향상을 보였다.
• 각 결정의 추론 비용이 높음에도 불구하고, 결정의 품질 향상 덕분에 네트워크 성능 향상이 상쇄되어 전체 성능 향상이 발생했다.
• 놀랍게도 더 큰 신경망이 성능 향상에 기여하지 않았으며, 이는 효과적인 히وري스틱 학습을 위해 작은 효율적인 모델이 충분하다는 것을 시사한다.
• GNN 정책을 CADET에 통합함으로써 공식 증명 생성 및 검증이 가능해져 모든 결과의 정확성이 보장되었다.
• 학습된 히وري스틱은 예측할 수 없는 공식들에 대해서도 강력한 일반화 성능을 보였으며, 이는 QBF 내에서 의미 있는 구조적 패턴을 학습했다는 것을 시사한다.