[논문 리뷰] Reinforcement Learning for Unified Allocation and Patrolling in Signaling Games with Uncertainty

Aravind Venugopal, Elizabeth Bondi외 4명|arXiv (Cornell University)|2020. 12. 18.

Reinforcement Learning in Robotics참고 문헌 24인용 수 4

한 줄 요약

이 논문은 환경적 불확실성 하에서 신호 게임에서 방어자 할당과 순찰을 통합하는 강화학습 프레임워크인 CombSGPO를 제안한다. 순찰에는 딥 듀얼 Q네트워크(DDQN)를, 할당 전략에는 액터-크리틱 네트워크를 사용하여 OptGradFP와 GUARDSS와 같은 기준 모델들보다 뛰어난 성능을 달성하였으며, 다양한 동물 밀도 분포와 불확실성 수준을 가진 15x15 및 10x10 그리드 환경에서 검증되었다.

ABSTRACT

Green Security Games (GSGs) have been successfully used in the protection of valuable resources such as fisheries, forests and wildlife. While real-world deployment involves both resource allocation and subsequent coordinated patrolling with communication and real-time, uncertain information, previous game models do not fully address both of these stages simultaneously. Furthermore, adopting existing solution strategies is difficult since they do not scale well for larger, more complex variants of the game models. We therefore first propose a novel GSG model that combines defender allocation, patrolling, real-time drone notification to human patrollers, and drones sending warning signals to attackers. The model further incorporates uncertainty for real-time decision-making within a team of drones and human patrollers. Second, we present CombSGPO, a novel and scalable algorithm based on reinforcement learning, to compute a defender strategy for this game model. CombSGPO performs policy search over a multi-dimensional, discrete action space to compute an allocation strategy that is best suited to a best-response patrolling strategy for the defender, learnt by training a multi-agent Deep Q-Network. We show via experiments that CombSGPO converges to better strategies and is more scalable than comparable approaches. Third, we provide a detailed analysis of the coordination and signaling behavior learnt by CombSGPO, showing group formation between defender resources and patrolling formations based on signaling and notifications between resources. Importantly, we find that strategic signaling emerges in the final learnt strategy. Finally, we perform experiments to evaluate these strategies under different levels of uncertainty.

연구 동기 및 목표

• 환경적 불확실성이 존재하는 신호 게임에서 할당과 순찰을 조율하는 문제에 대응하기 위해.
• 지리적 특징에 의해 영향을 받는 공간적으로 변화하는 목표물의 매력도에 따라 방어자와 공격자의 행동을 모델링하기 위해.
• 할당과 순찰 전략을 동시에 최적화하는 통합된 강화학습 프레임워크를 개발하기 위해.
• 무작위 및 공간적으로 분포된 동물 밀도를 포함한 다양한 불확실성 조건 하에서 성능을 평가하기 위해.
• OptGradFP와 GUARDSS와 같은 기존 기준 모델들보다 유틸리티와 학습 안정성 측면에서 뛰어나지 못하는가를 평가하기 위해.

제안 방법

• 순찰을 위해 두 개의 3x3 컨볼루션 레이어, 두 개의 완전 연결 레이어(128 및 64 유닛)와 ReLU 활성화 함수를 사용한 딥 듀얼 Q네트워크(DDQN)를 랭거 및 드론 순찰에 적용한다.
• 할당 전략을 위해 별도의 액터-크리틱 네트워크를 사용한다: 액터는 tanh 및 시그모이드 활성화 함수를 사용해 행동 임bedding의 평균과 분산을 예측하며, 크리틱은 단일 출력을 통해 기대 보상을 예측한다.
• ε-그리디 탐색을 적용하며, ε는 25,000단계 동안 1.0에서 0.05로 감소하고, 보상 형상화를 위해 할인 요소 γ = 0.99를 사용한다.
• 강수량, 도로, 공원 경계와의 거리의 가중치 순위를 이용해 공간적으로 분포된 동물 밀도를 구성하며, 최종 밀도는 이 구성 요소들의 가중 평균으로 유도한다.
• 15x15 그리드에 대해 Adam 옵티마이저를 사용해 DDQN을 훈련시키며, β₁ = 0.9, β₂ = 0.999로 설정하고, 리플레이 버퍼 크기를 1.92e5로 설정한다.
• 액터 네트워크에 대해 경쟁적 정책 최적화를 사용하며, 15x15 그리드에선 학습률 3e-4, 10x10 그리드에선 3e-5로 설정하고, 배치 크기 n_s = 10을 사용한다.

실험 결과

연구 질문

• RQ1 불확실성 하에서 통합된 딥 강화학습 프레임워크가 신호 게임에서 할당과 순찰을 효과적으로 조율할 수 있는가?
• RQ2 지리적 특징에 의해 형성된 공간적으로 구조화된 동물 밀도는 방어자 전략 학습과 성능에 어떤 영향을 미치는가?
• RQ3 다양한 불확실성 조건 하에서 OptGradFP와 GUARDSS와 같은 기준 모델들과 비교해 CombSGPO는 방어자 유틸리티와 학습 안정성 측면에서 어떻게 성과를 내는가?
• RQ4 15x15 및 10x10 그리드 환경에서 네트워크 아키텍처와 하이퍼파라미터의 변화가 학습 수렴과 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 동물 밀도 분포와 환경적 불확실성의 변화에 대해 얼마나 강건한가?

주요 결과

• CombSGPO는 15x15 및 10x10 그리드에서 모든 불확실성 설정에서 OptGradFP와 GUARDSS보다 평균 방어자 유틸리티 측면에서 뚜렷한 승리를 거두었다.
• 10x10 그리드에서는 SR(단일 무작위), SS(단일 공간), MR(다중 무작위), MS(다중 공간)를 포함한 모든 조건에서 CombSGPO가 기준 모델들보다 높은 평균 유틸리티를 달성하였다.
• 훈련 보상 곡선 분석 결과, 모든 불확실성 수준에서 CombSGPO는 OptGradFP보다 더 빠르게 수렴하고 더 높은 수익을 안정적으로 유지하는 것으로 나타났다.
• 100개의 샘플 에피소드에 대한 히트맵 시각화 결과, CombSGPO가 OptGradFP 및 PG 기준 모델들보다 더 효과적인 공격자 예측 패턴을 학습하는 것으로 확인되었다.
• 다양한 그리드 크기와 동물 밀도 분포에 걸쳐도 강력한 성능 유지를 보이며, 환경적 불확실성에 대한 강건성을 입증하였다.
• 가중 거리 기반의 동물 밀도 모델링을 사용함으로써 전략적 현실감이 향상되었고, 이는 방어자 정책 학습에 기여하였다.