[논문 리뷰] A Novel Automated Curriculum Strategy to Solve Hard Sokoban Planning Instances

Dieqiao Feng, Carla P. Gomes외 1명|arXiv (Cornell University)|2021. 10. 03.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 어려운 조합 최적화 계획 문제에서의 보상 희박성 문제를 해결하기 위해, 깊이 강화학습(DRL)을 위한 새로운 자동 커리큘럼 전략을 제안한다. 이 전략은 복잡도가 점차 증가하는 라벨 없이 제공된 소코반 계획 문제를 '난이도 양자 동량 다익음 밴딧' 기반으로 동적으로 선택한다. 특히 해결 가능성이 끝내는 부분의 하위 작업에 집중함으로써, DRL 에이전트가 225개의 어려운 소코반 인스턴스 중 179개(80%)를 해결할 수 있게 하였으며, 이는 이전 최고 성능 기준 31개(13%)보다 뛰어나다.

ABSTRACT

In recent years, we have witnessed tremendous progress in deep reinforcement learning (RL) for tasks such as Go, Chess, video games, and robot control. Nevertheless, other combinatorial domains, such as AI planning, still pose considerable challenges for RL approaches. The key difficulty in those domains is that a positive reward signal becomes {\em exponentially rare} as the minimal solution length increases. So, an RL approach loses its training signal. There has been promising recent progress by using a curriculum-driven learning approach that is designed to solve a single hard instance. We present a novel {\em automated} curriculum approach that dynamically selects from a pool of unlabeled training instances of varying task complexity guided by our {\em difficulty quantum momentum} strategy. We show how the smoothness of the task hardness impacts the final learning results. In particular, as the size of the instance pool increases, the ``hardness gap'' decreases, which facilitates a smoother automated curriculum based learning process. Our automated curriculum approach dramatically improves upon the previous approaches. We show our results on Sokoban, which is a traditional PSPACE-complete planning problem and presents a great challenge even for specialized solvers. Our RL agent can solve hard instances that are far out of reach for any previous state-of-the-art Sokoban solver. In particular, our approach can uncover plans that require hundreds of steps, while the best previous search methods would take many years of computing time to solve such instances. In addition, we show that we can further boost the RL performance with an intricate coupling of our automated curriculum approach with a curiosity-driven search strategy and a graph neural net representation.

연구 동기 및 목표

• 성공적인 계획이 지수적으로 드물게 발생하는 조합 최적화 AI 계획 과제에서의 극심한 보상 희박성 문제를 해결한다.
• 수동적인 커리큘럼 설계의 한계를 극복하기 위해, 완전히 자동화되고 동적으로 학습 인스턴스를 선택할 수 있도록 한다.
• 라벨 없는 해결책이나 광범위한 도메인 특화 히وري스틱 없이도, 소코반과 같은 PSPACE-완전 계획 문제를 해결할 수 있도록 깊이 강화학습 에이전트를 가능하게 한다.
• 해결 가능성이 끝내는 부분에 위치한 하위 작업에 집중함으로써 샘플 효율성과 학습 속도를 향상시키며, 탐색과 진전의 균형을 유지한다.
• 자동 커리큘럼과 궁금증 기반 탐색, 그래프 신경망 표현 방식을 결합한 효과를 입증한다.

제안 방법

• 다양한 복잡도를 지닌, 라벨 없이 제공된 소코반 하위 작업의 대규모 풀을 사용한다.
• 현재 정책 성능과 해결 가능성 추정치를 바탕으로, 난이도 양자 동량 다익음 밴딧 전략을 구현하여 하위 작업 배치를 선택한다.
• 선택된 하위 작업을 그래프 신경망(GNN) 정책를 갖춘 깊이 강화학습 에이전트에 제공하여 상태 표현과 행동 정책을 학습한다.
• 해결 가능성 평가 및 밴딧의 선택을 현재 정책가 도달할 수 있는 정도의 하위 작업으로 이끌기 위해 몬테카를로 트리 탐색(MCTS)을 사용한다.
• 정책이 향상됨에 따라 선택된 인스턴스의 난이도를 점차 높여가며 커리큘럼을 동적으로 조정함으로써 매끄러운 진행을 유지한다.
• 에이전트가 새로운 또는 도전적인 하위 작업을 탐색하도록 유도하기 위해 궁금증 기반 탐색을 통합하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 동적 하위 작업 선택 기반의 자동 커리큘럼 전략이 어려운 조합 최적화 계획 문제에서 깊이 강화학습 성능을 크게 향상시킬 수 있는가?
• RQ2 작업 난이도 진행의 매끄러움이 보상이 희박한 환경에서 학습 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 비지도, 자기지도 학습 기반 커리큘럼 학습이 AI 계획 분야에서 수동으로 설계된 또는 고정된 커리큘럼 스케줄보다 얼마나 더 우수한가?
• RQ4 다양한 난이도 수준의 하위 작업 조합이 안정적이고 빠른 학습 궤적을 유지하는 데 어떤 역할을 하는가?
• RQ5 자동 커리큘럼과 궁금증 기반 탐색, GNN 표현 방식을 결합하면 샘플 효율성을 더욱 향상시키고 이전에는 해결이 불가능했던 인스턴스를 해결할 수 있는가?

주요 결과

• 제안된 자동 커리큘럼 전략은 225개의 어려운 소코반 인스턴스 중 179개(80%)를 해결했으며, 이는 이전 최고 성능 기준 31개(13%)보다 뛰어나다.
• 난이도 양자 동량 밴딧 전략은 현재 정책의 능력 범위를 약간 넘는 하위 작업에 집중하여 매끄럽고 효과적인 학습 진행을 성공적으로 이끌었다.
• 학습이 진행됨에 따라 더 크고 복잡한 하위 작업(예: 14-박스 및 15-박스)을 샘플링할 확률이 증가함에 따라, 에이전트의 능력 향상에 효과적으로 적응하고 있음을 나타냈다.
• 학습 풀에 해결되지 않은 하위 작업을 포함시킴으로써 더 빠르고 견고한 학습이 이루어졌으며, 이는 도전적이지만 해결되지 않은 인스턴스에 노출됨이 일반화 능력 향상에 기여함을 시사한다.
• 그래프 신경망과 궁금증 기반 탐색의 통합은 성능을 추가로 향상시켰으며, 이로 인해 수백 번의 단계가 필요한 긴 복잡한 계획을 탐색할 수 있었다.
• 이 방법은 라벨 없는 해결책이나 수작업으로 만든 히وري스틱 없이도 성능을 달성하였으며, 어려운 계획 도메인에서 자기지도, 커리큘럼 기반 깊이 강화학습의 실현 가능성을 입증하였다.