[논문 리뷰] Robust Reinforcement Learning Under Minimax Regret for Green Security

Lily Xu, Andrew Perrault외 3명|arXiv (Cornell University)|2021. 06. 15.

Reinforcement Learning in Robotics참고 문헌 41인용 수 8

한 줄 요약

이 논문은 녹색 보안 분야에서 적대적 행동 모델에 대한 불확실성을 다루기 위해 이중 오라클 접근 방식을 사용하는 MIRROR라는 새로운 강화학습 프레임워크를 제안한다. 이 프레임워크는 최소화된 최대 손실 최적의 순찰 정책을 계산한다. 이 연구는 실제로 레이저 순찰이 실제로 포획자들을 위축시킬 수 있음을 처음으로 실세계 데이터를 통해 입증하며, 다양한 환경 조건에서 MIRROR가 기존 기준보다 최대 손실을 크게 감소시키고, 확장성과 내성성 면에서 뛰어난 성능을 보인다.

ABSTRACT

Green security domains feature defenders who plan patrols in the face of uncertainty about the adversarial behavior of poachers, illegal loggers, and illegal fishers. Importantly, the deterrence effect of patrols on adversaries' future behavior makes patrol planning a sequential decision-making problem. Therefore, we focus on robust sequential patrol planning for green security following the minimax regret criterion, which has not been considered in the literature. We formulate the problem as a game between the defender and nature who controls the parameter values of the adversarial behavior and design an algorithm MIRROR to find a robust policy. MIRROR uses two reinforcement learning-based oracles and solves a restricted game considering limited defender strategies and parameter values. We evaluate MIRROR on real-world poaching data.

연구 동기 및 목표

• 적대적 행동 모델에 대한 불확실성 하에서 강건한 순차적 순찰 계획 문제를 해결하기 위해.
• 퀸 엘리자베스 국립공원에서 확보한 실세계 사냥 데이터를 활용하여 순찰의 위협 억제 효과를 모델링하고 검증하기 위해.
• 최대화된 최소 보상이 아닌 최소화된 최대 손실을 최적화하는 강화학습 기반 방법을 개발하여 더 강건하고 덜 보수적인 의사결정을 가능하게 하기 위해.
• 복잡하고 불확실한 환경에서 최소화된 최대 손실 기준 하에 ε-최적 전략으로 수렴하는 확장 가능한 알고리즘인 MIRROR를 설계하고 평가하기 위해.

제안 방법

• 수비자(에이전트)와 자연(환경 매개변수에 대한 불확실성) 사이의 두 명의 플레이어가 참여하는 0-합 게임으로, 강건한 순찰 계획 문제를 수식화한다.
• 이중 오라클 프레임워크를 사용하며, 수비자 전략을 학습하는 에이전트 오라클과 주어진 전략에 대해 가장 열악한 매개변수 설정을 식별하는 자연 오라클을 각각 활용한다.
• 양측 오라클에 대해 정책 기반 강화학습 접근 방식을 구현하며, 불확실한 매개변수를 정책 네트워크의 입력으로 간주하고, 웨이크-슬립 절차를 통해 업데이트한다.
• 전략 공간과 매개변수 공간에서의 탐색과 내성성을 향상시키기 위해 양측 오라클에 매개변수 변형을 적용한다.
• 정책 공간 반응 오라클(PSRO) 프레임워크를 활용하여 수비자 전략 집합과 환경 매개변수 구성의 집합을 반복적으로 확장한다.
• 손실을 계산하기 위해, 모든 매개변수 설정에서 선택된 전략의 기대 수익과 최적 전략의 기대 수익 간의 최대 차이를 사용한다.

실험 결과

연구 질문

• RQ1 실세계 야생 보호 환경에서 레이저 순찰이 포획자들에게 측정 가능한 위협 억제 효과를 가지는가?
• RQ2 강화학습이 불확실성 하에서 순차적 녹색 보안 계획에서 최소화된 최대 손실 최적 전략을 효과적으로 계산하는 데 사용될 수 있는가?
• RQ3 다양한 환경 조건에서 MIRROR는 최대 보상 기반 및 기준 전략 대비 최대 손실 측면에서 어떻게 비교되는가?
• RQ4 공원 크기, 에피소드 기간, 불확실한 매개변수 수의 측면에서 MIRROR의 확장성은 어떠한가?
• RQ5 적대자 모델에 위협 억제 효과를 포함시키는 것이 순찰 계획 전략의 성능과 내성성에 어떤 영향을 미치는가?

주요 결과

• 본 연구는 퀸 엘리자베스 국립공원의 실세계 사고 데이터를 활용하여, 레이저 순찰이 포획자들에게 위협 억제 효과를 가진다는 최초의 실증적 검증을 제공한다.
• 에피소드 기간, 공원 크기, 위협 억제 강도, 불확실성 간격 크기 등 모든 테스트 변형에서 MIRROR는 모든 기준 전략 대비 최대 손실을 크게 감소시킨다.
• 에피소드 기간이 길어질수록 MIRROR의 손실은 미미하게 증가하지만, 기준 전략은 손실이 급격히 증가함으로써 장기적 내성성이 뛰어나다는 것을 보여준다.
• MIRROR는 큰 규모의 문제(최대 100개의 불확실한 매개변수 포함)에서도 합리적인 실행 시간(5~15시간)을 유지하며 강력한 성능과 확장성을 유지를 한다.
• 자연 오라클이 최대 손실을 극대화하는 적대자 모델을 사용하는 RARL regret 변형은 표준 RARL 최소 최대 보상 전략보다 우수한 성능을 보이며, 제안된 자연 오라클 설계의 가치를 확인한다.
• MIRROR는 유한한 반복 횟수 내에 ε-최적 전략으로 수렴함을 증명하며, 제안된 프레임워크 하에서 이론적 수렴성을 입증한다.