[논문 리뷰] Abstraction-based branch and bound approach to Q-learning for hybrid optimal control

Benoît Legat, Raphaël M. Jungers외 1명|arXiv (Cornell University)|2020. 11. 22.

Advanced Control Systems Optimization인용 수 5

한 줄 요약

이 논문은 유한 시간 최적 제어 문제를 해결하기 위해 Q-학습과 라그랑주 이중성(Lagrangian duality)을 통합한 추상화 기반 분할 정복 알고리즘을 제안한다. 교대 시뮬레이션 관계를 활용하여 벨만 유사 Q-함수를 구성하고, MPC 지도 경로를 통해 이를 정교화함으로써 탐색 트리 크기를 극적으로 감소시킨다. 수치 실험에서 100,000배 이상의 분할 정복 성능 향상을 달성하였으며, NP-완전성에도 불구하고 효율적인 온라인 제어를 가능하게 한다.

ABSTRACT

In this paper, we design a theoretical framework allowing to apply model predictive control on hybrid systems. For this, we develop a theory of approximate dynamic programming by leveraging the concept of alternating simulation. We show how to combine these notions in a branch and bound algorithm that can further refine the Q-functions using Lagrangian duality. We illustrate the approach on a numerical example.

연구 동기 및 목표

• 이산 제어 선택의 수가 기하급수적으로 증가함에 따라 하이브리드 시스템에서 최적 제어 문제를 해결하는 데 발생하는 계산 불가능성 문제를 해결하기 위해.
• 근사 동적 프로그래밍과 분할 정복을 융합하여 유한 시간 최적 제어를 위한 확장 가능하고 실시간 구현이 가능한 방법을 개발하기 위해.
• 계면 시스템 동역학의 근사 모델에서 유도된 벨만 유사 Q-함수를 사용하여 탐색 트리의 효율적 분할 정복을 가능하게 하기 위해.
• 모델 예측 제어(MPC)를 통해 확보한 타당한 경로를 따라 Q-함수를 반복적으로 정교화하여 관련 상태공간 영역에서의 근사 정확도를 향상시키기 위해.
• 다양한 문제 인스턴스 간에 학습된 Q-함수 지식을 일반화하고 융합하여 유사한 새로운 제어 문제에 대한 성능 향상을 도모하기 위해.

제안 방법

• 해당 방법은 원래 하이브리드 시스템과 근사 모델 간의 교대 시뮬레이션 관계를 활용하여 목표 집합 상에서 리아푸노프 함수와 벨만 유사 Q-함수를 유도한다.
• 이 Q-함수를 하한으로 사용하여 탐색 트리에서 열 劣지점의 분할 정복 알고리즘을 제안한다.
• 알고리즘은 전진 단계(MPC를 통한 타당한 경로 탐색)와 후진 단계(라그랑주 이중성을 활용한 해당 경로를 따라 Q-함수 정교화)를 번갈아 수행한다.
• 계산된 경로를 따라 최적 제어 해를 기반으로 유도된 컷을 사용하여 Q-함수를 반복적으로 갱신함으로써 시간이 지남에 따라 하한을 향상시킨다.
• 혼합정수이차계획문제(MIQP)의 약한 이중성에 기반하여 타당한 컷을 생성함으로써 최적 비용의 하한을 강화한다.
• 해당 방법은 문제 인스턴스 간 일반화가 가능하다: 한 인스턴스에서 학습된 Q-함수는 유사한 문제의 반복 수를 크게 감소시키며, 복수의 문제 인스턴스에서의 학습을 통합하면 최대한의 분할 정복 성능을 달성한다.

실험 결과

연구 질문

• RQ1 원래 시스템의 근사 모델에서 유도된 추상화 기반 Q-함수는 하이브리드 최적 제어를 위한 분할 정복 알고리즘에서 탐색 공간을 효과적으로 분할 정복할 수 있는가?
• RQ2 MPC 지도 경로 생성 방식은 실시간 제어 환경에서 학습된 Q-함수의 정확도와 활용도를 어떻게 향상시키는가?
• RQ3 한 문제 인스턴스에서 학습된 Q-함수는 얼마나 일반화되고 재사용되어 유사한 최적 제어 문제의 해를 가속화할 수 있는가?
• RQ4 라그랑주 이중성을 통한 Q-함수의 반복적 정교화가 분할 정복 알고리즘의 수렴 속도와 해 품질에 어떤 영향을 미치는가?
• RQ5 추상화가 거칠더라도 추상화 기반의 벨만 유사 함수가 충분한 분할 정복 성능을 제공할 수 있는가? 이는 확장 가능한 온라인 제어를 가능하게 하는가?

주요 결과

• 거친 추상화에서 유도된 벨만 유사 Q-함수를 사용함으로써, 한 인스턴스에서 분할 정복 반복 수가 9,388,410회에서 85회로 100,000배 이상 감소하였다.
• 두 번째 인스턴스에서는 반복 수가 10,000배 감소하여, 상대적으로 거친 추상화에서도 뚜렷한 분할 정복 성능 향상을 입증하였다.
• 이전 반복에서 확보한 경로를 기반으로 Q-함수를 학습함으로써 반복 수가 추가로 감소: 두 인스턴스의 지식을 융합함으로써 85회에서 747회로 감소하였다.
• 한 인스턴스에서 학습된 Q-함수는 다른 인스턴스로도 잘 일반화되어, 다른 초기 상태에 적용했을 때 반복 수가 880회에서 761회로 감소하여 높은 전이 가능성(transferability)을 보였다.
• 복수 문제 인스턴스에서의 Q-함수 학습을 통합하면 최고의 성능을 달성하였으며, 단지 747회의 반복만으로도 충분히 효율적인 지식 재사용과 상호보완 효과를 입증하였다.
• 모든 상태공간 근사가 아닌 관련 경로를 따라 Q-함수를 정교화함으로써 계산의 타당성과 해 품질 사이의 균형을 성공적으로 유지하였다.