[논문 리뷰] Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning

Dieqiao Feng, Carla P. Gomes외 1명|arXiv (Cornell University)|2020. 06. 04.

AI-based Problem Solving and Planning참고 문헌 19인용 수 6

한 줄 요약

이 논문은 깊이 강화학습 프레임워크를 커리큘럼 기반으로 설계하여 기존에 해결되지 않은 어려운 소코반 계획 문제를 성공적으로 해결한다. 이는 기존의 최첨단 탐색 기반 계획기에서 해결이 불가능했던 문제들에 대해 점진적으로 복잡도가 높아지는 부분 문제들에 대해 훈련하고, 가치 네트워크를 활용한 몬테카를로 트리 탐색(MCTS)을 통해 계획을 유도함으로써 달성된다. 이 방법은 1일 이내의 훈련으로도 200단계 이상의 해를 요구하는 문제들에 대해 전문적 솔버를 능가하는 성능을 보이며 해결한다.

ABSTRACT

Despite significant progress in general AI planning, certain domains remain out of reach of current AI planning systems. Sokoban is a PSPACE-complete planning task and represents one of the hardest domains for current AI planners. Even domain-specific specialized search methods fail quickly due to the exponential search complexity on hard instances. Our approach based on deep reinforcement learning augmented with a curriculum-driven method is the first one to solve hard instances within one day of training while other modern solvers cannot solve these instances within any reasonable time limit. In contrast to prior efforts, which use carefully handcrafted pruning techniques, our approach automatically uncovers domain structure. Our results reveal that deep RL provides a promising framework for solving previously unsolved AI planning problems, provided a proper training curriculum can be devised.

연구 동기 및 목표

• 기존의 조합적 탐색 방법으로는 해결이 불가능한 어려운, 이전에 해결되지 않은 인공지능 계획 문제를 해결하는 데 목적이 있다.
• 단일 에이전트 딥 강화학습에서 보상 신호가 부족한 문제를 해결하기 위해 점차 복잡도가 높아지는 부분 문제들의 커리큘럼을 설계하는 데 목적이 있다.
• 딥 강화학습이 수작업으로 설계된 잘라내기 기법 없이도 도메인의 구조를 자동으로 파악할 수 있음을 보여주는 데 목적이 있다.
• 점진적 학습과 가치 함수의 전달을 통해 소코반과 같은 PSPACE-완전 도메인에서 효과적인 일반화와 계획을 가능하게 하는 데 목적이 있다.
• 커리큘럼 학습을 통해 훈련된 딥 네트워크가 의미 있는 문제 구조를 포착하고 MCTS를 통해 장기간이고 복잡한 해를 유도할 수 있는지 탐색하는 데 목적이 있다.

제안 방법

• 프레임워크는 원래의 어려운 소코반 문제에서 유도된 점차 복잡도가 높아지는 부분 문제들의 커리큘럼을 사용한다. 이는 작은 상자 구성으로 시작된다.
• 각 커리큘럼 수준에서, 자기 연습과 몬테카를로 롤아웃을 통해 상태의 가치(목표까지의 거리)를 예측하는 딥 Q-네트워크가 훈련된다.
• 훈련된 가치 네트워크는 다음 더 복잡한 커리큘럼 수준에서 몬테카를로 트리 탐색(MCTS)을 유도하는 데 사용된다.
• MCTS 롤아웃에서 생성된 데이터를 기반으로 네트워크를 피지컬 튜닝함으로써, 훈련된 상태 외의 해법이 가능한 보드 상태로의 일반화를 가능하게 한다.
• 작은 부분 문제의 해법이 더 큰 문제의 해법을 줄여나가기 위해, 솔루션 공간을 줄이는 데 기여하는 커리큘럼 진행 방식을 설계한다.
• 더 큰 문제를 위한 네트워크 초기화 시 더 작은 문제의 훈련된 정책에서의 가중치를 사용함으로써, 수준 간 지식 전이를 달성한다.

실험 결과

연구 질문

• RQ1 커리큘럼 기반의 딥 강화학습이 기존의 조합적 탐색 방법으로는 해결이 불가능한 어려운 인공지능 계획 문제를 해결할 수 있는가?
• RQ2 훈련 중에 양의 보상 신호가 제공되지 않는 환경에서 딥 강화학습 에이전트가 장기 계획 문제를 어떻게 해결할 수 있는가?
• RQ3 커리큘럼 기반의 부분 문제들에 대해 훈련된 딥 신경망이 전체 원본 문제 인스턴스를 해결하는 데 얼마나 잘 일반화되는가?
• RQ4 학습된 가치 함수가 목표까지의 거리와 동작 품질과 같은 계획 도메인의 의미 있는 구조적 특성을 얼마나 잘 포착하는가?
• RQ5 더 작은 문제에서 더 큰 문제로 지식을 전이할 때, 치명적인 잊음(catastrophic forgetting)을 피할 수 있는가?

주요 결과

• 제안된 커리큘럼 기반의 딥 강화학습 프레임워크는 이전에 전문적 솔버가 어떤 합리적인 시간 제한 내에서도 해결하지 못했던 16개 상자와 200단계 이상의 이동이 필요한 어려운 소코반 인스턴스를 성공적으로 해결하였다.
• 이 방법은 1일 이내의 훈련으로도 기존의 탐색 기반 계획기보다 훨씬 뛰어난 성능을 보이며, 이전에 해결되지 않은 인스턴스에 대해 성능 향상을 보였다.
• 8개 상자 커리큘럼에서 학습된 가치 네트워크는 초기 구성에 가까운 상태에서 목표까지의 거리를 예측하는 데 강력한 성능을 보였으며, 문제의 구조를 효과적으로 포착하고 있음을 시사한다.
• 랜덤으로 배치된 8개 상자 부분 케이스로의 일반화 성능는 약간 낮아 보였으며, 이는 네트워크가 MCTS 롤아웃에서 자주 방문하는 상태들에 집중한 것으로 보인다.
• 8개 상자에서 16개 상자 문제로 전이할 때, 네트워크는 치명적인 잊음을 보였으며, 새로운 상태에서의 정책 및 가치 예측 성능이 저하되었다.
• 이러한 문제에도 불구하고, 작은 부분 문제들에서의 지식 앙상블 덕분에 원래의 해결되지 않았던 16개 상자 인스턴스를 성공적으로 해결할 수 있었으며, 이는 복잡한 계획 도메인에서 커리큘럼 학습의 힘을 보여준다.