[논문 리뷰] Evolutionary Approach to Security Games with Signaling

Adam Żychowski, Jacek Mańdziuk외 4명|arXiv (Cornell University)|2022. 04. 29.

Reinforcement Learning in Robotics참고 문헌 20인용 수 4

한 줄 요약

이 논문은 첫 번째로 유전적 알고리즘 기반의 보안 게임 신호 전송(SGS) 접근법인 EASGS를 제안하며, 염색체 기반 표현과 특화된 유전적 연산자를 사용해 효율적으로 스케일링할 수 있도록 한다. EASGS는 예상 수익, 시간 스케일링, 메모리 효율성 측면에서 최신 기술보다 뛰어나며, 특히 조밀하고 국소적으로 조밀한 그래프에서 뛰어난 성능을 보이며, 거의 일정한 메모리 사용과 안정적인 수렴을 보이는 342개의 벤치마크 인스턴스에서 전반적으로 뛰어난 성능을 입증한다.

ABSTRACT

Green Security Games have become a popular way to model scenarios involving the protection of natural resources, such as wildlife. Sensors (e.g. drones equipped with cameras) have also begun to play a role in these scenarios by providing real-time information. Incorporating both human and sensor defender resources strategically is the subject of recent work on Security Games with Signaling (SGS). However, current methods to solve SGS do not scale well in terms of time or memory. We therefore propose a novel approach to SGS, which, for the first time in this domain, employs an Evolutionary Computation paradigm: EASGS. EASGS effectively searches the huge SGS solution space via suitable solution encoding in a chromosome and a specially-designed set of operators. The operators include three types of mutations, each focusing on a particular aspect of the SGS solution, optimized crossover and a local coverage improvement scheme (a memetic aspect of EASGS). We also introduce a new set of benchmark games, based on dense or locally-dense graphs that reflect real-world SGS settings. In the majority of 342 test game instances, EASGS outperforms state-of-the-art methods, including a reinforcement learning method, in terms of time scalability, nearly constant memory utilization, and quality of the returned defender's strategies (expected payoffs).

연구 동기 및 목표

• LP/MILP 및 강화 학습 기반 기존 SGS 솔버의 낮은 시간 및 메모리 스케일링 문제를 해결하기 위해.
• 센서와 순찰자 포함한 대규모 실세계 시나리오를 다룰 수 있는 확장 가능한 메타휴리스틱 접근법을 개발하기 위해.
• SGS의 구조적 및 전략적 복잡성에 맞는 염색체 표현 및 진화 연산자를 설계하기 위해.
• 실제 보존 환경을 반영한 조밀하고 국소적으로 조밀한 그래프를 기반으로 한 새로운 벤치마크 세트를 도입하기 위해.
• 다양한 게임 인스턴스에서 수익, 런타임, 메모리 소비 측면에서 EASGS를 최신 기술과 비교 평가하기 위해.

제안 방법

• EASGS는 순찰자와 센서가 대상 정점에 대해 사용하는 혼합 전략을 코딩하는 수호자 중심의 염색체 표현을 사용한다.
• 센서 할당, 순찰자 할당, 신호 전략을 각각 대상으로 하는 세 가지 특화된 변형 연산자를 적용한다.
• 부모 솔루션을 조합하면서 타당성과 솔루션 품질을 유지하는 새로운 교차 연산자를 도입한다.
• 다양성을 유지하고 조기 수렴을 방지하기 위해 인구 갱신 기법을 사용한다.
• 유망한 솔루션의 국소 최적화를 통해 커버리지와 수익을 향상시키는 메타휴리스틱 지역 검색 구성 요소를 통합한다.
• 알고리즘은 그래프 조밀도와 무관하게 동작 복잡도가 일정하여 희박한 그래프와 조밀한 그래프 모두에서 일관된 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 기존 최적화 방법의 스케일링 한계를 극복하기 위해, 보안 게임 신호 전송에 대해 진화 계산 기법을 효과적으로 적용할 수 있는가?
• RQ2 EASGS는 예상 수익과 솔루션 품질 측면에서 최신 기술인 MILP 및 강화 학습 기반 방법과 비교해 어떻게 성과를 내는가?
• RQ3 EASGS는 다양한 그래프 조밀도와 크기에서 낮고 안정적인 메모리 사용을 얼마나 오랫동안 유지하는가?
• RQ4 EASGS는 실세계 보존 환경을 반영한 조밀하고 국소적으로 조밀한 그래프에서 기존 방법보다 뛰어난 시간 스케일링 성능을 보이는가?
• RQ5 EASGS 솔루션은 다수의 런에 걸쳐 얼마나 강건하고 일관된가? 그리고 모든 대상 정점의 완전한 커버리지를 보장하는가?

주요 결과

• 342개의 테스트 게임 인스턴스 중 200개에서 EASGS가 최고의 예상 수익을 기록했으며, 특정 벤치마크 유형에서는 통계적으로 유의미한 우위를 보였다.
• EASGS는 특히 조밀한 그래프에서 뛰어난 시간 스케일링 성능을 보이며, SBP+W 및 기타 방법들에 비해 큰 격차를 보였다.
• 100개 정점 게임에서도 메모리 소비가 150MB 미만으로 거의 일정하게 유지되었으며, SELP는 작은 게임에서도 200GB 이상을 소비했다.
• 30번의 런 평균 표준편차는 0.86(평균 수익의 약 1.2%)로, 높은 솔루션 안정성을 나타냈다.
• 모든 EASGS 솔루션은 완전한 대상 커버리지를 달성했으며, 커버되지 않은 정점이 없었고, 순찰자는 주로 고도수 및 고가치 정점에 우선 배정되었다.
• 센서는 주로 순찰되는 정점과 연결된 정점에 주로 할당되어 수호자 목표와 전략적으로 일치했다.