[논문 리뷰] Anytime computation algorithms for approach-evasion differential games

Erich Mueller, Minghui Zhu외 2명|arXiv (Cornell University)|2013. 08. 06.

Robotic Path Planning Algorithms참고 문헌 23인용 수 5

한 줄 요약

이 논문은 접근-도피 미분 게임을 위한 새로운 anytime 계산 알고리즘인 iGame와 iGame∗를 제안한다. 이 알고리즘들은 증분 샘플링과 생존성 이론을 활용하여 기존의 다중 격자 방법에 비해 더 빠른 수렴 속도와 뛰어난 계산 효율성을 달성한다. 알고리즘은 시간이 지남에 따라 정책의 품질을 동적으로 향상시키며, 수치 시뮬레이션에서 iGame∗는 iGame와 다중 격자 기반 방법 모두를 뛰어넘는 성능을 보였다.

ABSTRACT

This paper studies a class of approach-evasion differential games, in which one player aims to steer the state of a dynamic system to the given target set in minimum time, while avoiding some set of disallowed states, and the other player desires to achieve the opposite. We propose a class of novel anytime computation algorithms, analyze their convergence properties and verify their performance via a number of numerical simulations. Our algorithms significantly outperform the multi-grid method for the approach-evasion differential games both theoretically and numerically. Our technical approach leverages incremental sampling in robotic motion planning and viability theory.

연구 동기 및 목표

• 시간에 따라 변하는 계산 자원과 불확실한 환경을 가진 사이버-물리 시스템에서 안전하고 최적의 제어기를 합성하는 데 도전한다.
• 특히 느린 수렴 속도와 동적 환경에서의 유연성 부족으로 인해 제한이 있는 고정 격자 및 다중 격자 방법의 한계를 극복한다.
• 빠르게 실행 가능한 해를 반환하고, 더 많은 계산 시간이 확보될수록 최적성의 향상을 지속적으로 이어지는 anytime 알고리즘을 개발한다.
• 이상적 수렴성과 계산 효율성을 보장함으로써 실시간, 온라인 제어 합성 가능성을 보장함으로써 안전이 중요한 시스템에 기여한다.

제안 방법

• iGame 알고리즘은 증분 샘플링을 사용하여 연속적인 미분 게임의 이산 시간, 상태 공간, 입력 공간 근사치를 구성하며, 각 반복에서 상태 값은 비동기적으로 업데이트된다.
• 이 알고리즘은 해밀토니안의 분리 핵을 통해 최적의 가치 함수를 특성화함으로써 모든 초기 상태에서 공식적인 수렴을 보장한다.
• iGame∗ 버전은 이전 반복에서 자식 상태의 추정치가 변경된 상태 샘플들만 선택적으로 업데이트하는 캐스케이드 업데이트 규칙을 도입하여 계산 효율성을 향상시킨다.
• 두 알고리즘은 다중 격자 방법과 동일한 점근적 수렴 보장을 유지하지만, 비동기적 anytime 계산을 통해 더 빠른 수렴 속도를 달성한다.
• 가치 함수 근사치를 활용해 각 상태에서 이산 입력 집합에 대한 1단계 최소-최대 최적화를 통해 피드백 제어 정책을 유도한다.
• 200×200 격자 기준과 비교하기 위해 정의된 동역학과 제약 조건을 가진 2차원 접근-도피 운전사 게임을 사용해 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 증분 샘플링과 생존성 이론을 융합하여, 수렴성 보장과 효율성 향상을 동시에 확보한 anytime 알고리즘을 접근-도피 미분 게임에 적용할 수 있는가?
• RQ2 제안된 anytime 알고리즘의 수렴 속도가 전통적인 다중 격자 방법에 비해 근사 오차와 계산 시간 측면에서 어떻게 비교되는가?
• RQ3 iGame∗의 비동기적 캐스케이드 업데이트 메커니즘이 수렴 보장을 훼손하지 않으면서 계산 성능을 얼마나 향상시키는가?
• RQ4 iGame∗의 anytime 성질이 초기 실행 가능한 해가 중요한 동적 환경에서 효과적인 온라인 정책 개선을 가능하게 하는가?

주요 결과

• iGame는 다중 격자 방법보다 수렴 속도가 더 빠르며, 로그 스케일 오차 곡선을 통해 시간이 지남에 따라 근사 오차가 더 빠르게 감소하는 것으로 나타났다.
• iGame∗는 iGame와 다중 격자 방법 모두보다 뚜렷이 더 빠른 수렴 속도를 보였으며, 목표 오차 수준에 도달하는 데 소요되는 시간을 수개의 주기 단위로 줄였다.
• 오차 0.04에 도달하는 데 소요되는 iGame∗의 평균 계산 시간은 iGame 및 다중 격자 방법보다 상당히 낮아, 그 뛰어난 효율성을 입증했다.
• 수치 시뮬레이션 결과, iGame∗는 anytime 성질을 유지한다: 적은 수의 샘플로도 실행 가능한 정책을 제공하며, 시간이 지남에 따라 지속적으로 향상되며, 타임아웃 발생률이 점차 감소한다.
• 추격자가 iGame∗를 사용하고, 도피자가 고정된 50×50 격자를 사용할 경우, 도피가 가능한 거의 모든 상태에서 추격이 성공하며, 이전에는 타임아웃이 발생했던 상태들도 정책 향상에 따라 점차 더 많이 추격에 성공한다.
• iGame∗에서 가치 함수 근사치의 진행 상황을 보면 샘플링된 점의 수가 급격히 증가하고 효율적인 수렴이 이루어지는 것으로 나타나, 효과적인 탐색 및 업데이트 전략을 가짐을 시사한다.