[논문 리뷰] Robust Multiple-Path Orienteering Problem: Securing Against Adversarial Attacks

Guangyao Shi, Lifeng Zhou외 1명|arXiv (Cornell University)|2020. 03. 31.

Robotic Path Planning Algorithms참고 문헌 36인용 수 5

한 줄 요약

이 논문은 최대 α대의 로봇을 대상으로 하는 악성 공격 상황에서도 팀 전체의 성능 저하를 방지하기 위해 강건한 다중경로 오리엔티어링 문제(Robust Multiple-Path Orienteering Problem, RMOP)를 제안한다. 단일로봇 오리엔티어링에서 유래한 서브루틴을 사용하는 유한 보장이 있는 오프라인 근사 프레임워크와, 두 명의 플레이어가 참여하는 순차적 게임 구조에서 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 활용한 온라인 솔루션을 제안하며, 해양 및 턨널 모니터링 작업에서의 시뮬레이션 연구를 통해 지능적인 적대자에 대한 향상된 강건성을 입증한다.

ABSTRACT

The multiple-path orienteering problem asks for paths for a team of robots that maximize the total reward collected while satisfying budget constraints on the path length. This problem models many multi-robot routing tasks such as exploring unknown environments and information gathering for environmental monitoring. In this paper, we focus on how to make the robot team robust to failures when operating in adversarial environments. We introduce the Robust Multiple-path Orienteering Problem (RMOP) where we seek worst-case guarantees against an adversary that is capable of attacking at most $α$ robots. We consider two versions of this problem: RMOP offline and RMOP online. In the offline version, there is no communication or replanning when robots execute their plans and our main contribution is a general approximation scheme with a bounded approximation guarantee that depends on $α$ and the approximation factor for single robot orienteering. In particular, we show that the algorithm yields a (i) constant-factor approximation when the cost function is modular; (ii) $\log$ factor approximation when the cost function is submodular; and (iii) constant-factor approximation when the cost function is submodular but the robots are allowed to exceed their path budgets by a bounded amount. In the online version, RMOP is modeled as a two-player sequential game and solved adaptively in a receding horizon fashion based on Monte Carlo Tree Search (MCTS). In addition to theoretical analysis, we perform simulation studies for ocean monitoring and tunnel information-gathering applications to demonstrate the efficacy of our approach.

연구 동기 및 목표

• 다중로봇 정보 수집 작업에서 최대 α대의 로봇이 악성 공격 또는 고장으로 인해 기능을 잃었을 경우에도 팀의 성능을 유지하는 문제에 대응하기 위해.
• 개별 로봇의 고장 내성에 의존하는 것이 아니라, 악성 실패 시나리오에서도 성능을 보장하는 강건한 계획 프레임워크를 개발하기 위해.
• 오프라인(실행 중 통신 없음) 및 온라인(동적 재계획이 가능한 적응형, 후퇴 수준 계획) 두 가지 설정에서 RMOP를 모델링하고 해결하기 위해.
• 해양 모니터링 및 터널 탐사와 같은 실제 환경에서의 시뮬레이션을 통해 지능적인 적대자에 대한 강건한 계획 전략의 효과를 평가하기 위해.
• 제안된 MCTS 기반 온라인 전략을 기준선 방법과 비교하여, 악성 조건 하에서의 성능 향상을 입증하기 위해.

제안 방법

• 단일로봇 오리엔티어링에 대한 유한 보장 근사 알고리즘을 서브루틴으로 사용하는 일반적인 근사 기법으로 오프라인 RMOP를 수립한다.
• 순차적 그레디 애너지이션 프레임워크를 적용하여 경로를 로봇 간에 분배하면서도, 최대 α대의 로봇 고장 상황에서도 최악의 성능 보장을 확보한다.
• 근사 한계를 도출: 모듈러 보상 함수의 경우 상수 요인, 서브모듈러 함수의 경우 로그 요인, 서브모듈러 함수에서 경로 길이 초과가 제한된 경우 상수 요인.
• 온라인 RMOP를 로봇과 적대자 간의 두 명의 플레이어가 참여하는 순차적 게임으로 모델링하며, 양측 모두 몬테카를로 트리 탐색(MCTS)을 사용해 동적으로 행동을 선택한다.
• 온라인 설정에서 후퇴 수준 전략을 구현하여, 관측된 적대자 행동과 갱신된 신뢰도를 기반으로 로봇이 재계획을 수행한다.
• 적대자 모델링을 통한 MCTS를 활용하여 공격자 행동을 시뮬레이션하고, 잠재적 공격을 예측하고 대응하는 강건한 로봇 계획을 생성한다.

실험 결과

연구 질문

• RQ1 최대 α대의 로봇이 악성으로 비활성화될 수 있는 상황에서도 성능 비율이 유한하게 유지되는 다중로봇 경로 계획 알고리즘을 어떻게 설계할 수 있는가?
• RQ2 보상 함수가 모듈러, 서브모듈러, 또는 경로 예산 초과가 허용되는 서브모듈러일 경우 오프라인 RMOP에서 달성 가능한 근사 보장은 무엇인가?
• RQ3 지능적인 공격자 행동 하에서 온라인 RMOP 계획의 MCTS 성능은 비적응형 또는 비적대자 기반 계획 전략과 비교해 어떻게 다를까?
• RQ4 적대자 모델링을 통한 MCTS 기반 온라인 계획은 공격 가능성을 간과하는 표준 MCTS보다 성능이 뛰어나게 되는가?
• RQ5 제안된 강건한 계획 프레임워크는 해양 모니터링 및 지하 터널과 같은 실제 악성 환경에서 팀 전체의 보상 수확을 얼마나 잘 유지하는가?

주요 결과

• 오프라인 RMOP 알고리즘은 모듈러 보상 함수의 경우 상수 요인 근사, 일반적인 서브모듈러 함수의 경우 로그 요인 근사, 서브모듈러 보상이 경로 예산을 제한된 범위 내로 초과하는 경우 상수 요인 근사 성능을 달성한다.
• 해양 모니터링 및 터널 탐사 시뮬레이션에서, 적대자 모델링을 통한 MCTS 기반 온라인 RMOP 접근법은 비적대자 MCTS 전략보다 유의미하게 높은 평균 보상을 확보했다.
• 공격자가 MCTS를 사용할 경우, 동일한 적대자 MCTS 전략을 사용하는 로봇(그림 11의 주황색 막대)은 표준 MCTS를 사용하는 로봇(파란색 막대)보다 높은 평균 보상을 확보했으며, 이는 사전 적대자 사고의 가치를 입증한다.
• 공격 횟수가 증가할수록 강건한 전략과 비강건 전략 간의 성능 격차가 커졌으며, 이는 본 방법이 증가하는 적대적 압력에 대비해 강건함을 확인한다.
• 공격자가 무작위 전략을 사용할 경우에도 로봇이 더 높은 평균 보상을 확보했으며, 이는 강건한 MCTS 전략이 비최적의 적대자에게도 효과적임을 시사한다.
• 그림 10의 시뮬레이션 결과는 공격자가 로봇 경로를 관측한 후에 고보상 노드(예: 노드 25)를 전략적으로 공격함을 보여주며, 모델에 사전 적대자 계획이 필요함을 검증한다.