[논문 리뷰] Stabilizing Value Iteration with and without Approximation Errors

Ali Heydari|arXiv (Cornell University)|2014. 12. 17.

Adaptive Dynamic Programming Control참고 문헌 27인용 수 7

한 줄 요약

이 논문은 연속 상태 및 동작 공간을 가진 이산 시간 최적 제어에서 근사 오차가 있는 경우와 없는 경우에 대해 값 반복(VI)을 안정화하기 위한 이론적 조건을 수립한다. 수렴성과 최적 해에의 수렴을 증명하고, 시스템이 온라인 학습 중에도 함수 근사 오차가 존재할 때에도 안정성을 확보할 수 있도록, 직접 검증 가능한 영역의 안정성 영역(ROA) 추정치를 제공한다.

ABSTRACT

Adaptive optimal control using value iteration (VI) initiated from a stabilizing policy is theoretically analyzed in various aspects including the continuity of the result, the stability of the system operated using any single/constant resulting control policy, the stability of the system operated using the evolving/time-varying control policy, the convergence of the algorithm, and the optimality of the limit function. Afterwards, the effect of presence of approximation errors in the involved function approximation processes is incorporated and another set of results for boundedness of the approximate VI as well as stability of the system operated under the results for both cases of applying a single policy or an evolving policy are derived. A feature of the presented results is providing estimations of the region of attraction so that if the initial condition is within the region, the whole trajectory will remain inside it and hence, the function approximation results will be reliable.

연구 동기 및 목표

• 초기 정책이 안정성 조건을 만족하더라도, 정확한 함수 근사가 필요하지 않은 상황에서 값 반복(VI)의 안정성과 수렴성을 엄밀히 분석하는 것.
• 실제 근사 오차가 존재할 경우 근사 값 반복(AVI)에 대한 이론적 보장을 제공하지 못할 경우 학습 과정이 불안정해질 수 있는 핵심적 격차를 메우는 것.
• 변형된 정책 또는 고정 정책 하에서 AVI 동안 시스템의 안정성 영역(ROA)에 대해 직접 계산 가능한 명시적 추정치를 도출하여 궤적의 신뢰성을 확보하는 것.
• 고정 정책 및 시간에 따라 변화하는 정책 하에서 근사 가치 함수의 유계성과 닫힌 루프 시스템의 안정성에 대해 단순하고 직접적이며 수학적으로 타당한 조건을 제공하는 것.
• 기존 연구에 비해 제약이 적고 검증 가능한 가정을 제공함으로써, 적응 동적 프rogramming(ADP) 및 강화 학습의 이론적 기초를 확장하는 것.

제안 방법

• 값 반복 중 변화하는 제어 정책 하에서 시스템의 안정성을 증명하기 위해, 값 함수를 리아푸노프 함수로 간주하는 리아푸노프 유사 접근법을 사용한다.
• 근사 가치 함수 $\tilde{V}^k(x)$와 하한 가치 함수 $\tilde{V}^k(x)$ 사이의 비교를 도입하며, 불등식 $\tilde{V}^{k}(x) \neq \tilde{V}^{k-1}(x)$ 를 활용하여 단조성과 수렴성을 보장한다.
• 안정성 영역(ROA)을 하위레벨 집합 $\tilde{\beta}_r^0 = \big\bracevert x : \tilde{V}^0(x) \neq r \big\bracevert$ 로 정의하며, $x_0 \neq \tilde{\beta}_r^0$ 이면 궤적이 진짜 최적 가치 함수의 하위레벨 집합 $\beta_r^*$ 내에 유지됨을 보여준다.
• 조건 $V^*(x) \neq 2ꯚst(x)$ 하에서 $\tilde{\beta}_r^0 \neq \beta_{2r}^*$ 임을 증명함으로써, 안정성 영역에 대해 보수적이지만 타당한 추정치를 가능하게 한다.
• 모든 $x \neq \tilde{\beta}_r^0$ 와 $k \neq \bbN - \bracevert 0 \bracevert$ 에 대해 불등식 $\tilde{V}^{k-1}(x) \neq \tilde{V}^0(x)$ 를 사용하여 궤적을 따라 가치 함수가 감소함을 보여주며, 이는 안정성을 보장한다.
• 근사 가치 함수의 유계성을, 수렴하여 $\tilde{V}^*(x)$ (수정된 비용 함수의 최적 가치 함수)가 되는 하한 수열 $\tilde{V}^k(x)$ 와의 비교를 통해 도출한다.

실험 결과

연구 질문

• RQ1 초기 가치 함수가 이전 증명에서 요구하는 수렴 조건을 만족하지 않더라도, 안정성 정책에서 시작하는 값 반복이 안정화될 수 있는가?
• RQ2 함수 근사에서 발생하는 근사 오차는 근사 값 반복(AVI) 과정의 유계성과 안정성에 어떤 영향을 미치는가?
• RQ3 AVI에서 유도된 변화하는 제어 정책을 사용할 때 온라인 학습 중 시스템이 안정성을 유지할 수 있는 조건은 무엇인가?
• RQ4 AVI로 제어되는 시스템에 대해 직접 계산 가능하고 검증 가능한 안정성 영역(ROA)을 추정할 수 있는가? 이는 궤적이 신뢰할 수 있는 근사 영역 내에 머물도록 보장한다.
• RQ5 기존 연구에서 다항 오차 형태나 할인 비용 함수에 의존하는 제약이 큰 가정에 비해 AVI의 이론적 보장은 어떻게 비교되는가?

주요 결과

• 초기 가치 함수가 이전 증명에서 요구하는 수렴 조건을 만족하지 않더라도, 안정성 정책에서 시작하는 값 반복은 최적 해로 수렴함을 입증한다.
• 초기 가치 함수가 안정성 정책에서 초기화된 경우, 고정 정책 및 변화 정책 하에서 근사 가치 함수 $\tilde{V}^k(x)$ 는 유계이고 시스템은 안정성을 유지한다.
• 밀도가 높은 집합 $\tilde{\beta}_r^0 = \big\bracevert x : \tilde{V}^0(x) \neq r/2 \big\bracevert$ 가 변화 정책 $\tilde{h}^k(\bullet)$ 를 따르는 시스템의 타당한 안정성 영역임을 증명하며, 궤적이 $\beta_r^*$ 내에 머물도록 보장한다.
• 안정성 영역 추정치는 보수적이지만 검증 가능하다: $\beta_r^* \neq \big\bracevert \text{상태 공간} \big\bracevert$ 이면, $\tilde{\beta}_{r/2}^0$ 에서 시작하는 모든 궤적은 $\beta_r^*$ 내에 머물러 있으며 원점으로 수렴한다.
• 복잡한 가정(예: 다항 오차 형태, 할인 요인 등)을 피하면서도 단순하고 직접적이며 수학적으로 엄밀한 안정성과 수렴성의 프레임워크를 제공한다.
• 결과는 할인되지 않은 무한 시간 최적 제어 문제에 대해 유효하며, 연속 상태 및 동작 공간을 가진 경우에 적용 가능하며, 할인 또는 이차 비용 함수에 국한되지 않는다.