[논문 리뷰] Deep Reinforcement Learning for Green Security Games with Real-Time Information

Yufei Wang, Zheyuan Ryan Shi외 5명|arXiv (Cornell University)|2018. 11. 06.

Reinforcement Learning in Robotics참고 문헌 33인용 수 13

한 줄 요약

이 논문은 실시간 정보와 적응형 반응을 통합한 논문에서 제안하는 GSG-I는 녹색 보안을 위한 새로운 순차 게임 모델로, 기존의 CFR와 같은 기법이 비현실적인 대규모 보안 게임에서 효과적으로 작동하는 딥 강화 학습 알고리즘 DeDOL을 도입한다. DeDOL은 더블 오라클 프레임워크 내에서 DQN을 사용하며, 국소 모드를 통합하여 높은 성능을 달성한다.

ABSTRACT

Green Security Games (GSGs) have been proposed and applied to optimize patrols conducted by law enforcement agencies in green security domains such as combating poaching, illegal logging and overfishing. However, real-time information such as footprints and agents' subsequent actions upon receiving the information, e.g., rangers following the footprints to chase the poacher, have been neglected in previous work. To fill the gap, we first propose a new game model GSG-I which augments GSGs with sequential movement and the vital element of real-time information. Second, we design a novel deep reinforcement learning-based algorithm, DeDOL, to compute a patrolling strategy that adapts to the real-time information against a best-responding attacker. DeDOL is built upon the double oracle framework and the policy-space response oracle, solving a restricted game and iteratively adding best response strategies to it through training deep Q-networks. Exploring the game structure, DeDOL uses domain-specific heuristic strategies as initial strategies and constructs several local modes for efficient and parallelized training. To our knowledge, this is the first attempt to use Deep Q-Learning for security games.

연구 동기 및 목표

• 기존 녹색 보안 게임 모델에서 실시간 정보 부족과 적응형 반응의 부재를 해결하기 위해.
• 불완전 정보와 순차적 이동을 포함한 0-합 광범위 형 게임에 대해 확장 가능한 해결책을 개발하기 위해.
• 동적 공격자 행동 하에서 적응형 순찰 전략을 효율적으로 계산할 수 있는 딥 강화 학습 알고리즘을 설계하기 위해.
• 대규모 게임에서 대조적 위험 최소화(CFR)의 계산 불가능성을 도메인 전용 히우리스틱과 국소 학습 모드를 활용해 극복하기 위해.

제안 방법

• 방어자와 공격자가 실시간 관측과 순차적 의사결정을 고려한 0-합 광범위 형 게임 모델인 GSG-I를 제안한다.
• 더블 오라클 프레임워크에 기반한 정책 공간 반응 오라클(PSRO)을 활용해 반복적 전략 생성을 위한 DRL 기반 알고리즘인 DeDOL을 개발한다.
• 고차원 행동 공간에서 근사 최적 반응을 학습하기 위해 순수 전략을 압축적으로 표현하기 위해 딥 Q 네트워크(DQN)를 사용한다.
• 환경의 복잡성을 줄이고 병렬화된 효율적 학습을 가능하게 하기 위해 각각 특정 공격자 진입 지점에 해당하는 국소 모드를 도입한다.
• 수렴 속도를 향상시키기 위해 도메인 전용 히우리스틱 전략(예: 파라미터화된 무작위 보행, 랜덤 스위핑)을 초기 전략으로 사용한다.
• 전역 및 국소 모드에서 확률 샘플링과 반복적 정밀화를 적용하여 탐색과 유용성의 균형을 맞추고 전략 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화 학습은 실시간 정보를 고려한 녹색 보안 게임에서 적응형 순찰 전략을 효과적으로 모델링할 수 있는가?
• RQ2 국소 모드의 통합이 대규모 보안 게임에서 학습 효율성과 전략 품질에 어떻게 기여하는가?
• RQ3 CFR 및 바닐라-PSRO와 같은 기존 방법에 비해 DeDOL은 방어자 유용성과 확장성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 히우리스틱 초기화 전략은 DRL 기반 보안 게임 해법에서 수렴 속도를 상당히 가속화하는가?
• RQ5 국소 모드에서 학습한 전략은 전역 모드로 재결합했을 때 이식 가능하고 고품질의 전략을 제공하는가?

주요 결과

• 작은 게임에서는 DeDOL이 광범위 형 게임에 대해 최상의 성능을 보이는 대조적 위험 최소화(CFR)와 유사한 방어자 기대 유용성을 달성한다.
• 큰 게임(5×5 및 7×7 격자)에서는 DeDOL이 바닐라-PSRO 및 무작위 스위핑 기준선을 뛰어넘으며, 국소 + 전역 모드 버전이 가장 높은 방어자 유용성을 기록한다.
• DeDOL의 국소 + 전역 모드 구성은 순수 국소 또는 순수 전역 학습보다 뛰어난 성능을 보이며, 모드별 전략 학습의 효과성을 입증한다.
• CFR에 비해 DeDOL은 메모리 사용량을 크게 줄였으며, 전체 게임 트리를 저장하는 대신 신경망만 저장하기 때문이다.
• PSRO의 경우 랜덤 초기화보다 히우리스틱 전략을 초기 정책으로 사용함으로써 수렴 속도가 빨라지고 더 나은 최종 전략을 도출한다.
• 복잡한 환경에서 정확한 최적 반응을 계산하는 것이 비현실적인 상황에서도 DeDOL의 DQN 표현 방식이 최적 반응을 성공적으로 근사한다.