[논문 리뷰] Leveraging Statistical Multi-Agent Online Planning with Emergent Value Function Approximation

Thomy Phan, Lenz Belzner외 2명|arXiv (Cornell University)|2018. 04. 17.

Reinforcement Learning in Robotics참고 문헌 6인용 수 5

한 줄 요약

이 논문은 강화학습을 사용하여 실행 중 발생하는 탈중앙화된 시스템 행동에서 온라인으로 가치 함수를 학습함으로써 확률적 환경에서 통계적 다중 에이전트 온라인 계획을 향상시키는 EVADE를 제안한다. 이 전역 가치 함수를 국소 계획에 통합함으로써 EVADE는 성능과 효율성을 향상시키며, 복잡한 스마트 팩토리 환경에서 동일한 계산 예산 내에서 더 짧은 계획 수평이 더 긴 수평을 따라하거나 능가할 수 있도록 한다.

ABSTRACT

Making decisions is a great challenge in distributed autonomous environments due to enormous state spaces and uncertainty. Many online planning algorithms rely on statistical sampling to avoid searching the whole state space, while still being able to make acceptable decisions. However, planning often has to be performed under strict computational constraints making online planning in multi-agent systems highly limited, which could lead to poor system performance, especially in stochastic domains. In this paper, we propose Emergent Value function Approximation for Distributed Environments (EVADE), an approach to integrate global experience into multi-agent online planning in stochastic domains to consider global effects during local planning. For this purpose, a value function is approximated online based on the emergent system behaviour by using methods of reinforcement learning. We empirically evaluated EVADE with two statistical multi-agent online planning algorithms in a highly complex and stochastic smart factory environment, where multiple agents need to process various items at a shared set of machines. Our experiments show that EVADE can effectively improve the performance of multi-agent online planning while offering efficiency w.r.t. the breadth and depth of the planning process.

연구 동기 및 목표

• 불확실성 하에서 제한된 계산 자원이 존재하는 다중 에이전트 온라인 계획의 과제를 해결하기 위해.
• 사전 계산된 가치 함수 없이 국소 계획 에이전트가 전역 효과를 고려할 수 있도록 하기 위해.
• 시스템 전체 경험을 바탕으로 런타임에 가치 함수를 학습하는 모델리스이고 적응적인 방법을 개발하기 위해.
• 공유 자원과 다수의 에이전트를 포함한 높은 확률성과 복잡성을 띤 스마트 팩토리 환경에서 방법을 평가하기 위해.
• EVADE가 계획 성능과 효율성을 향상시키며, 특히 계산 예산이 제한된 상황에서 그 효과를 입증하기 위해.

제안 방법

• EVADE는 실행 중 발생하는 탈중앙화된 시스템 행동을 기반으로 온라인 강화학습을 사용하여 전역 가치 함수를 근사한다.
• 이 가치 함수는 다중 에이전트 시스템 내 국소 계획 결정을 안내하여 정책 품질을 향상시킨다.
• 기존의 통계적 다중 에이전트 온라인 계획 알고리즘(DICE 및 DOOLP)과 통합되어 검색 효율성을 향상시킨다.
• 높은 분지 계수와 복잡한 협업을 시뮬레이션하기 위해 확률적 동작 결과와 공유 기계를 포함한 스마트 팩토리 환경을 설계한다.
• 에이전트 상호작용에서 수집된 경험을 바탕으로 시간 차이 학습을 사용해 가치 함수를 점진적으로 갱신한다.
• 제한된 계산 예산 내에서 계획이 수행되며, 가치 함수는 더 유망한 동작 시퀀스를 우선순위화하는 데 도움이 된다.

실험 결과

연구 질문

• RQ1 온라인 가치 함수 근사가 확률적 도메인에서 다중 에이전트 온라인 계획의 성능을 향상시킬 수 있는가?
• RQ2 엄격한 계산 제약 조건 하에서, 학습된 가치 함수가 제한된 계획 깊이와 폭을 얼마나 보완할 수 있는가?
• RQ3 계산 예산이 제한된 상황에서 EVADE는 가치 함수 없이 작동하는 기준선 계획과 비교해 어떻게 성능을 냈는가?
• RQ4 EVADE는 짧은 계획 수평이 더 긴 수평과 비교해 유사한 성능을 달성할 수 있도록 할 수 있는가?
• RQ5 높은 분지 계수와 다수의 에이전트를 포함한 환경에서 이 방법은 효과적으로 확장 가능한가?

주요 결과

• EVADE는 성능을 크게 향상시켰다: 동일한 예산 내에서 EVADE를 적용한 DICE(h=6)는 90.8%의 성공률을 기록하여 기준선(69.7%)을 능가했다.
• 계산 예산이 384일 때, EVADE를 적용한 h=2는 특히 8에이전트 설정에서 더 긴 수평(h=6)의 성능을 따라하거나 능가했다.
• EVADE를 적용한 DOOLP(h=4)는 91.3%의 성공률을 기록하여 기준선(71.6%)을 능가했으며, 제한된 계획 깊이에서도 뚜렷한 성과를 보였다.
• 8에이전트 케이스에서 성능 정체는 광범위한 정책 공간과 제한된 예산 탓으로 기인했으며, 이는 성과 향상이 계산 능력 증가와 함께 비례함을 시사한다.
• 값 함수 덕분에 더 짧은 수평(h=2)이 더 긴 수평(h=6)을 능가할 수 있었는데, 이는 더 나은 안내 덕분에 깊은 탐색이 필요로 하지 않기 때문이다.
• 이 방법은 계산 비용을 증가시키지 않으면서도 탐색의 폭과 깊이를 모두 향상시켜 계획 효율성을 입증했다.