[논문 리뷰] Dyna-H: a heuristic planning reinforcement learning algorithm applied to role-playing-game strategy decision systems

Matilde Santos, José Antonio Martín H.외 2명|arXiv (Cornell University)|2011. 01. 20.

Reinforcement Learning in Robotics참고 문헌 22인용 수 7

한 줄 요약

이 논문은 역할 수행 게임에서 경로 탐색 성능을 향상시키기 위해 히우리스틱 계획을 다이나 아키텍처에 통합한 모델리스 강화학습 알고리즘인 Dyna-ℋ을 제안한다. 악몽과 유사한 정신적 시뮬레이션을 영감으로 삼아 최악의 경로에서 샘플링하는 방식으로 학습을 가속화하였으며, Q-러닝과 다이나-큐에 비해 경로 길이를 90퍼센트 이상 감소시켜 빠른 속도와 더불어 최적성에서도 뛰어난 성능을 달성한다.

ABSTRACT

In a Role-Playing Game, finding optimal trajectories is one of the most important tasks. In fact, the strategy decision system becomes a key component of a game engine. Determining the way in which decisions are taken (online, batch or simulated) and the consumed resources in decision making (e.g. execution time, memory) will influence, in mayor degree, the game performance. When classical search algorithms such as A* can be used, they are the very first option. Nevertheless, such methods rely on precise and complete models of the search space, and there are many interesting scenarios where their application is not possible. Then, model free methods for sequential decision making under uncertainty are the best choice. In this paper, we propose a heuristic planning strategy to incorporate the ability of heuristic-search in path-finding into a Dyna agent. The proposed Dyna-H algorithm, as A* does, selects branches more likely to produce outcomes than other branches. Besides, it has the advantages of being a model-free online reinforcement learning algorithm. The proposal was evaluated against the one-step Q-Learning and Dyna-Q algorithms obtaining excellent experimental results: Dyna-H significantly overcomes both methods in all experiments. We suggest also, a functional analogy between the proposed sampling from worst trajectories heuristic and the role of dreams (e.g. nightmares) in human behavior.

연구 동기 및 목표

• 정확한 모델이 확보되지 않은 큰 환경나 불완전한 환경에서 A*와 같은 전통적 탐색 알고리즘의 한계를 해결한다.
• 불확실성 하에서 순차적 의사결정을 위한 모델리스 강화학습의 샘플 효율성과 수렴 속도를 향상시킨다.
• 환경의 전체 모델이 필요 없이도 히우리스틱 기반 계획을 다이나 프레임워크에 통합하여 학습을 향상시킨다.
• 통제된 역할 수행 게임 경로 탐색 시나리오에서 제안된 방법을 표준 강화학습 기반선과 비교하여 뛰어난 성능을 입증한다.
• 최악의 경로에서 샘플링하는 것과 인간의 꿈이나 악몽 기반 학습과 같은 인지 과정 사이의 功能적 유사성을 탐색한다.

제안 방법

• A*와 유사한 허용 가능한 히우리스틱 함수를 사용하여 탐색을 이끄는 히우리스틱 계획 모듈을 다이나 아키텍처에 통합한다.
• 서브옵티멀 결과로 이어질 가능성이 높은 분기들을 우선순위에 따라 계획하여 최악의 경로에 집중한다.
• 이 히우리스틱 기반 계획을 다이나 에이전트의 학습 루프에 통합하여, 시뮬레이션 경험 기반의 온라인 및 점진적 업데이트를 가능하게 한다.
• 에이전트가 장애물을 피하면서 시작 상태에서 목표 상태로 이동하는 것을 배우는 격자 월드 역할 수행 게임 환경에서 알고리즘을 적용한다.
• 계산 비용과 정책 최적성 사이의 트레이드오프를 제어하기 위해 계획 단계 수(N)를 튜닝한다.
• 경험은 실제 상호작용과 히우리스틱 기반 시뮬레이션 롤아웃에서 생성된 데이터를 모두 사용하여 Q-러닝 업데이트 규칙을 적용한다.

실험 결과

연구 질문

• RQ1 히우리스틱 기반 계획은 모델리스 강화학습의 샘플 효율성과 수렴 속도를 경로 탐색 과제에서 향상시킬 수 있는가?
• RQ2 최적 경로나 온정책 경로가 아닌 최악의 경로에서 샘플링하는 것이 최적 정책으로의 수렴 속도를 빠르게 하는가?
• RQ3 계획 단계 수(N)는 다이나-ℋ 프레임워크에서 학습 속도와 정책 품질 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 시뮬레이션된 역할 수행 게임 환경에서 다이나-ℋ은 경로 길이와 학습률 측면에서 표준 Q-러닝 및 다이나-큐를 능가할 수 있는가?
• RQ5 제안된 히우리스틱 샘플링과 꿈이나 악몽 기반 학습과 같은 인간의 인지 과정 사이에 功能적 유사성이 존재하는가?

주요 결과

• Dyna-ℋ는 Q-러닝과 다이나-큐보다 학습 속도에서 뚜렷한 우월성을 보이며, 최소한의 계획 단계로도 7회 이내에 수렴한다.
• 기준 방법에 비해 평균 경로 길이를 90퍼센트 이상 감소시켜 거의 최적의 경로를 달성한다.
• N=1일 경우 알고리즘은 빠르게 수렴하지만, 약 370단계의 에피소드당 길이로 최적 정책이 아닌 정책에 수렴한다. 반면 N 값이 높을수록(5, 10, 25) 점차 더 나은 정책이 도출된다.
• 최악의 경로에서 샘플링을 하더라도, 온정책 샘플링보다 더 빠른 수렴을 달성함으로써, 열악한 경로 탐색이 학습을 가속화할 수 있음을 시사한다.
• N=5, 10, 25의 학습 곡선은 형태와 수렴 속도가 거의 동일하며, 유일한 차이점은 최종 정책의 최적성 뿐이다.
• 계획 단계 수(N)는 계산 비용과 정책 품질 사이의 균형을 직접 제어할 수 있는 컨트롤 노브를 제공하며, 자원의 효율적 트레이드오프를 가능하게 한다.