[논문 리뷰] Regstar: Efficient Strategy Synthesis for Adversarial Patrolling Games

David Klaška, Antonı́n Kučera외 2명|arXiv (Cornell University)|2021. 08. 19.

Artificial Intelligence in Games인용 수 2

한 줄 요약

Regstar는 일반 그래프에서 임의의 간선 길이와 불완전한 탐지 조건을 가진 적대적 순찰 게임에서 효율적인 전략 합성에 사용되는 새로운 미분 가능 프로그래밍 기반 알고리즘입니다. 이 알고리즘은 방어 전략의 값과 기울기를 효율적으로 계산함으로써 기울기 상승 최적화를 가능하게 하여 기존 방법보다 실제 및 복잡한 순찰 그래프에서 뛰어난 성능을 발휘합니다.

ABSTRACT

We design a new efficient strategy synthesis method applicable to adversarial patrolling problems on graphs with arbitrary-length edges and possibly imperfect intrusion detection. The core ingredient is an efficient algorithm for computing the value and the gradient of a function assigning to every strategy its "protection" achieved. This allows for designing an efficient strategy improvement algorithm by differentiable programming and optimization techniques. Our method is the first one applicable to real-world patrolling graphs of reasonable sizes. It outperforms the state-of-the-art strategy synthesis algorithm by a margin.

연구 동기 및 목표

• 균일한 간선 길이 또는 기억 없는 전략에 국한된 기존 순찰 게임 알고리즘의 확장성과 표현력의 격차를 해소합니다.
• 임의의 간선 길이와 불완전한 침입 탐지를 고려한 실제 순찰 그래프에 적용 가능한 전략 합성 방법을 설계합니다.
• 유한한 과거에 의존하는 정규 전략이 일반 전략에 비해 최적에 임의로 가까운 보호 성능을 달성할 수 있음을 증명함으로써, 기억 없는 전략이나 일반 전략 대비 정규 전략의 사용을 정당화합니다.
• 닫힌 형식의 값 계산이 비가역적인 문제를 해결하기 위해 기반으로 하는 기울기 기반 최적화가 가능한 효율적인 알고리즘을 개발합니다.
• 실제 사례, 특히 ATM 네트워크와 복도가 있는 건물 레이아웃에서의 실용성과 우수성을 입증합니다.

제안 방법

• 전략 매개변수에 대한 값 함수 Val(γ)의 미분 가능성 증명을 통해 방어자의 전략 합성을 미분 가능한 최적화 문제로 재구성합니다.
• 닫힌 형식의 표현식 크기가 지수적으로 증가함에도 불구하고, 정규 전략에 대해 Val(γ)의 값과 기울기를 효율적으로 계산하는 새로운 알고리즘을 설계합니다.
• 기울기 상승 최적화를 정규 방어 전략 공간에서 수행할 수 있도록 미분 가능 프로그래밍 기법을 적용합니다.
• 다양한 무작위 정규 전략을 초기화하고 기울기 상승을 통해 개선한 후 최고 성능을 보인 전략을 반환하는 전략 개선 루프를 구성합니다.
• 상태 공간을 줄이면서도 최적 전략과 ε 이내의 정확도를 유지하기 위해 역사 정보를 δ-유사 클래스로 군집화하는 메모리 추상화 기법을 구현합니다.
• 유한 수의 시간 단위에 국한된 설정에서 발생하는 확장성 문제를 피하기 위해 무한 시간 할당 모델을 적용합니다.

실험 결과

연구 질문

• RQ1 유한한 과거에 의존하는 정규 전략은 적대적 순찰 게임에서 일반 전략에 비해 최적에 임의로 가까운 보호 성능을 달성할 수 있는가?
• RQ2 임의의 간선 길이를 가진 그래프에서 정규 전략에 대한 보호 기능의 값과 기울기를 계산하는 것이 가능한가?
• RQ3 미분 가능 프로그래밍 기법을 적대적 순찰 게임의 전략 합성에 효과적으로 적용하여 기반 기반 최적화를 가능하게 할 수 있는가?
• RQ4 제안된 방법은 실제 및 합성 순찰 그래프에서 기존 알고리즘과 비교해 어떤 성능을 보이는가?
• RQ5 ATM 네트워크나 복도가 있는 건물 레이아웃과 같은 실제 사례에서 이 방법의 실용적 확장성은 어떠한가?

주요 결과

• Regstar는 임의의 간선 길이와 불완전한 탐지를 고려한 실제 순찰 그래프에서 방어 전략을 효율적으로 합성할 수 있는 최초의 알고리즘입니다.
• Klaška 등 [2018]의 최신 기술보다 빠른 속도와 뛰어난 확장성을 보이며, 이전에는 비가능시였던 사례를 해결합니다.
• 모든 18개의 ATM이 포함된 몬트리올 지역 네트워크에 대해 최적 전략을 성공적으로 계산하여 실용성의 가능성을 입증합니다.
• 복도가 있는 건물 유사 그래프에서의 실험 결과, 과거에 의존하는 정규 전략이 기억 없는 전략보다 유의미하게 뛰어난 성능을 보이며 역사 정보의 중요성을 확인합니다.
• 이론적 분석을 통해 정규 전략이 최적에 임의로 가까운 보호 성능을 달성할 수 있음을 증명함으로써, 이 전략 클래스에 제한하는 것이 타당함을 입증합니다.
• 기울기 계산 절차를 통해 기울기 상승을 통한 효과적인 전략 개선이 가능하며, 다양한 그래프 구조에서 높은 보호 성능에 수렴하는 것으로 나타났습니다.