[논문 리뷰] Optimal control with budget constraints and resets

Ryo Takei, Weiyan Chen외 3명|arXiv (Cornell University)|2011. 10. 28.

Markov Chains and Monte Carlo Methods인용 수 2

한 줄 요약

이 논문은 고정된 예산 제약 조건 하에서 선호 상태에 진입할 경우 완전한 리셋이 이루어지는 시스템에 대한 새로운 최적 제어 프레임워크를 제안한다. 증강된 PDE와 반복 알고리즘을 통해 이산 및 연속 문제를 모두 다루며, 예산 제약 조건 하에서 최적 정책을 수치적으로 효율적으로 계산할 수 있는 방법을 제공한다. 주요 기여는 예산 제약 조건이 있는 환경에서 최적 정책을 계산하는 데 있어 수치적 효율성을 확보한 것으로, 가시성 제약 조건이 있는 경로 계획 문제에 적용하여 검증되었다.

ABSTRACT

Abstract. We consider both discrete and continuous control problems constrained by a fixed budget of some resource, which may be renewed upon entering a preferred subset of the state space. In the discrete case, we consider both deterministic and stochastic shortest path problems with full budget resets in all preferred nodes. In the continuous case, we derive augmented PDEs of optimal control, which are then solved numerically on the extended state space with a full/instantaneous budget reset on the preferred subset. We introduce an iterative algorithm for solving these problems efficiently. The method’s performance is demonstrated on a range of computational examples, including the optimal path planning with constraints on prolonged visibility by a static enemy observer. In addition, we also develop an algorithm that works on the original state space to solve a related but simpler problem: finding the subsets of the domain “reachable-within-the-budget”. Section 1. Introduction. Dynamic programming provides a convenient framework for finding provably “optimal ” strategies to control both discrete and continuous systems. The optimality is usually defined with respect to a single criterion or cost (e.g., money, or fuel, or time needed to implement each particular control).

연구 동기 및 목표

• 고정된 예산 제약 조건과 선호 상태에서의 완전한 리셋을 고려한 최적 제어를 위한 통합 프레임워크를 개발한다.
• 동적 프rogram밍을 이산 및 연속 설정 모두에서 자원 재생을 처리할 수 있도록 확장한다.
• 관측자가 장기간 가시성을 확보해야 하는 복잡한 경로 계획 문제를 해결한다.
• 증강된 최적 제어 문제를 수치적으로 해결하기 위한 효율적인 반복 알고리즘을 설계한다.
• 예산으로 도달 가능한 부분집합을 식별하는 방법을 제공하며, 이를 원래 상태 공간에서의 더 단순한 보조 문제로 간주한다.

제안 방법

• 선호 노드에서 예산을 완전히 리셋하는 조건 하에서 이산 최적 제어 문제를 확률적 최단경로 문제로 공식화한다.
• 선호 상태 공간의 부분집합에서 즉각적인 예산 리셋을 고려한 연속 최적 제어 문제에 대해 증강된 편미분방정식(PDE)을 유도한다.
• 예산을 추가 차원으로 포함한 확장된 상태 공간에서 증강된 PDE를 수치적으로 해결한다.
• 예산 제약 조건 하에서 가치 함수와 최적 제어 정책을 효율적으로 계산하기 위한 반복 알고리즘을 도입한다.
• 예산을 명시적으로 추적하지 않는 조건에서 원래 상태 공간에서 작동하는 별도의 알고리즘을 개발하여 예산 내에서 도달 가능한 부분집합을 결정한다.
• 확장된 상태 공간에서 동적 프로그래밍 원리를 적용하여 계산된 전략의 증명 가능 최적성을 확보한다.

실험 결과

연구 질문

• RQ1 이산 시스템에서 고정된 예산 제약 조건과 선호 상태에서의 완전한 리셋 조건을 만족하는 최적 제어는 어떻게 공식화할 수 있는가?
• RQ2 상태 공간의 부분집합에서 즉각적인 예산 리셋을 모델링하기 위해 필요한 PDE 공식은 무엇인가?
• RQ3 실제로 증강된 PDE는 어떻게 효율적이고 정확하게 해결할 수 있는가?
• RQ4 제안된 반복 알고리즘이 복잡한 예산 제약 조건이 있는 제어 문제를 해결하는 데 성능은 어떠한가?
• RQ5 예산 상태 전체를 추적하지 않고도 예산으로 도달 가능한 영역을 식별할 수 있는 더 단순한 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 방법은 경로 계획 문제와 같은 복잡한 시나리오에서도 가시성 제약 조건이 있는 예산 제약 조건 하에서 최적 제어 정책을 성공적으로 계산한다.
• 증강된 PDE 프레임워크는 즉각적인 예산 리셋이 이루어지는 연속 최적 제어 문제를 정확하게 수치적으로 해결할 수 있도록 한다.
• 반복 알고리즘은 가시성 제약 조건이 있는 경로 계획을 포함한 계산 예제에서 효율적인 수렴성과 확장성을 보여준다.
• 보조 알고리즘은 예산 내에서 도달 가능한 부분집합을 정확히 식별하여 더 큰 문제의 사전 처리 단계로 유용하게 기능한다.
• 이 프레임워크는 결정론적 및 확률론적 제어 문제에 모두 일반적으로 적용 가능하며 예산 리셋 조건을 수용할 수 있다.
• 수치적 결과는 제약 조건 하에서 최적 또는 거의 최적의 성능을 달성함을 확인한다.