[논문 리뷰] Single-Agent Policy Tree Search With Guarantees

Laurent Orseau, Levi H. S. Lelis외 2명|arXiv (Cornell University)|2018. 11. 27.

Artificial Intelligence in Games참고 문헌 14인용 수 18

한 줄 요약

이 논문은 단일 에이전트 계획 문제에서 노드 전개 수에 대한 이론적 보장을 제공하는 두 가지 정책 유도 트리 탐색 알고리즘—LevinTS와 LubyTS—을 소개한다. A3C에서 유도된 신경망 정책을 사용하여 LevinTS는 LAMA(최첨단 히우리스틱 기반 계획기)보다 더 적은 노드 전개 수와 더 짧은 해를 기록하여 1,000개의 Sokoban 레벨을 모두 해결하였다.

ABSTRACT

We introduce two novel tree search algorithms that use a policy to guide search. The first algorithm is a best-first enumeration that uses a cost function that allows us to prove an upper bound on the number of nodes to be expanded before reaching a goal state. We show that this best-first algorithm is particularly well suited for `needle-in-a-haystack' problems. The second algorithm is based on sampling and we prove an upper bound on the expected number of nodes it expands before reaching a set of goal states. We show that this algorithm is better suited for problems where many paths lead to a goal. We validate these tree search algorithms on 1,000 computer-generated levels of Sokoban, where the policy used to guide the search comes from a neural network trained using A3C. Our results show that the policy tree search algorithms we introduce are competitive with a state-of-the-art domain-independent planner that uses heuristic search.

연구 동기 및 목표

• 히우리스틱 가이던스가 필수적이지만 이론적 경계가 없는 결정론적이고 보상이 흐린 단일 에이전트 문제에서 몬테카를로 트리 탐색(MCTS)의 한계를 해결하기 위해.
• 히우리스틱 보장을 가진 전통적 계획법과 정책 학습이 가능한 강화학습 간의 격차를 메우기 위해, 공식적인 성능 보장을 갖춘 정책 유도 탐색을 도입하기 위해.
• 학습된 정책을 활용해 탐색 노력을 줄이면서도 해 시간에 대한 이론적 경계를 유지하는 알고리즘 개발을 위해.
• A3C를 통해 훈련된 신경망 정책을 사용하여 1,000개의 컴퓨터 생성된 Sokoban 레벨 데이터셋에서 학습한 정책을 기반으로, 도전적인 PSPACE-완전 영역인 Sokoban에서 접근 방식을 검증하기 위해.

제안 방법

• LevinTS는 정책에 의해 유도되는 베스트-퍼스트 탐색 전략을 사용하며, 목표에 도달하기 전의 노드 전개 수에 대한 엄격한 상한을 보장하는 비용 함수를 적용한다.
• LubyTS는 Luby 수열에 기반한 랜덤 샘플링 전략을 사용하여, 어떤 해를 찾기까지의 기대 노드 전개 수에 대한 상한을 제공한다.
• 두 알고리즘 모두 정책을 입력으로 사용하며, 정책은 행동 시퀀스의 확률을 정의함으로써 성공 경로의 가능성에 따라 경계가 결정된다.
• 정책는 1,000개의 컴퓨터 생성된 Sokoban 레벨 데이터셋에서 A3C 강화학습을 통해 확보된다.
• 탐색은 행동 시퀀스의 트리에서 수행되며, 노드는 행동 역사를 나타내고 목표 상태는 전이가 발생할 때만 식별된다.
• 이론적 보장은 정책 하에서 성공적인 행동 시퀀스의 확률 질량에 기반하여 유도되며, 이는 히우리스틱 품질에 영향을 받지 않는 성능 경계를 보장한다.

실험 결과

연구 질문

• RQ1 정책 유도 트리 탐색이 결정론적 단일 에이전트 문제에서 탐색 노력에 대해 증명 가능한 경계를 제공할 수 있는가?
• RQ2 해의 품질과 탐색 효율성 측면에서, LAMA와 같은 최첨단 히우리스틱 기반 계획기와 비교할 때 정책 유도 탐색의 성능은 어떠한가?
• RQ3 딥 강화학습(A3C)을 통해 학습된 정책이, 단지 가장 쉬운 레벨들에서만 훈련된 경우에도 트리 탐색에서 효과적인 가이던스를 제공할 수 있는가?
• RQ4 히우리스틱 함수 대신 정책을 사용할 경우, 노드 전개 수에 대한 이론적 경계를 도출할 수 있는가?
• RQ5 성공 경로가 적은지 많거나에 따라, 제안된 두 알고리즘—LevinTS(베스트-퍼스트)와 LubyTS(샘플링 기반)—의 효과성은 어떻게 다를 수 있는가?

주요 결과

• LevinTS는 1,000개의 Sokoban 레벨을 모두 해결하였으며, 평균적으로 각 레벨당 168개의 노드 전개를 기록하여, LAMA의 200~1,000개의 노드 전개 수보다 현저히 적었다.
• LevinTS는 LAMA가 생성한 해보다 이동 수 측면에서 뚜렷이 짧은 해를 찾았으며, 이는 더 높은 해 품질을 의미한다.
• 32단계의 경계를 가진 LubyTS(LubyTS (256, 32))는 90% 이상의 성공률을 기록했으며, LubyTS (256, 1)과 LubyTS (256, 32)보다 뛰어난 성능을 보였으며, 이는 해 길이 추정에 민감함을 보였다.
• LubyTS (256, 32)는 수동으로 튜닝된 해 길이 상한을 사용하는 multiTS (200, 100)와 동일한 성능을 기록했으나, 단지 학습된 정책만을 사용하였다.
• 1% 노이즈가 가미된 LevinTS는 총 999개의 노드 전개 내에 모든 레벨을 해결하였으며, I2A(하이브리드 모델-프리/모델-베이스 계획기)가 95%의 레벨에서 평균 4,000개의 노드 전개가 필요한 것보다 뛰어난 성능을 보였다.
• 훈련 중 더 어려운 레벨에서 정책의 커버리지가 부족했음에도 LevinTS는 체계적인 탐색을 통해 이를 보완하여 모든 레벨을 해결했으며, 이는 정책의 한계에 대비한 강건성을 보여주었다.