[논문 리뷰] Dual Control with Active Learning using Gaussian Process Regression

Tansu Alpcan|arXiv (Cornell University)|2011. 05. 11.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 9

한 줄 요약

이 논문은 활성 학습을 통한 가우시안 프로세스 회귀를 사용하여 시스템 식별과 제어를 동시에 최적화하는 이중 제어 프레임워크를 제안한다. 샤논 엔트로피를 통해 정보 수익을 정량화함으로써, 방법은 탐색(데이터 확보)과 이용(성능 최적화)을 균형 잡는 제어 동작을 반복적으로 선택하며, 30단계 이내에 소수의 관측치로 혼돈론적이고 비선형 시스템의 안정적 제어를 달성한다. 이는 로지스틱 맵과 역퍼레일 펜듈럼 시스템에서 실험적으로 입증되었다.

ABSTRACT

In many real world problems, control decisions have to be made with limited information. The controller may have no a priori (or even posteriori) data on the nonlinear system, except from a limited number of points that are obtained over time. This is either due to high cost of observation or the highly non-stationary nature of the system. The resulting conflict between information collection (identification, exploration) and control (optimization, exploitation) necessitates an active learning approach for iteratively selecting the control actions which concurrently provide the data points for system identification. This paper presents a dual control approach where the information acquired at each control step is quantified using the entropy measure from information theory and serves as the training input to a state-of-the-art Gaussian process regression (Bayesian learning) method. The explicit quantification of the information obtained from each data point allows for iterative optimization of both identification and control objectives. The approach developed is illustrated with two examples: control of logistic map as a chaotic system and position control of a cart with inverted pendulum.

연구 동기 및 목표

• 희소하고 비용이 많이 들거나 비 stationary한 관측치가 존재하는 비선형 시스템을 제어하는 데 도전하는 데 목적을 두며.
• 동적 제어 환경에서 정보 수집(탐색)과 성능 최적화(이용) 사이의 본질적 갈등을 해결하는 데 목적을 두며.
• 베이지안 학습을 사용하여 식별 및 제어 목표를 명시적으로 균형 잡는 통합적이고 반복적인 최적화 프레임워크를 개발하는 데 목적을 두며.
• 사전 지식나 광범위한 데이터가 확보되지 않은 상황에서 블랙박스 시스템의 효과적인 제어를 가능하게 하는 데 목적을 두며.
• 정보 이론, 머신 러닝, 제어 이론을 통합하여 다목적 제어 전략을 통합하는 데 목적을 두며.

제안 방법

• 이 방법은 희소하고 순차적인 관측치로부터 비선형 시스템 동역학을 모델링하기 위해 가우시안 프로세스 회귀를 사용한다.
• 각 관측치의 정보 수익은 사후 GP 분포의 샤논 엔트로피를 사용하여 정량화되며, 이는 데이터 가치를 명시적으로 측정할 수 있도록 한다.
• 제어 성능과 정보 확보를 균형 잡기 위해 1단계 앞서보기 전략을 사용하여 가중치 합 다목적 최적화를 수립한다.
• 제어기는 기대 제어 성능과 기대 정보 수익을 모두 포함하는 비용 함수를 최적화하여 다음 동작을 선택한다.
• 이 프레임워크는 반복적으로 구현된다: 관측 → GP 모델 업데이트 → 다음 동작 최적화, 불확실성과 노이즈는 커널 및 노이즈 분산 파라미터로 모델링된다.
• 이 접근법은 두 가지 동적 시스템에서 검증되었으며, 혼돈론적 로지스틱 맵과 카트-역퍼레일 펜듈럼 시스템을 대상으로 하였으며, 고정된 커널 및 노이즈 분산 값을 사용하였다.

실험 결과

연구 질문

• RQ1 비선형 동적 제어 환경에서 각 관측치의 정보 수익을 어떻게 명시적으로 정량화할 수 있는가?
• RQ2 희소한 자료가 존재하는 환경에서 탐색(정보 수집)과 이용(제어 성능) 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 가우시안 프로세스 회귀는 제어 맥락에서 소수의 관측치만으로도 알려지지 않은 시스템 동역학을 효과적으로 모델링할 수 있는가?
• RQ4 엔트로피 기반 정보 측정법을 실시간 반복 제어 프레임워크에 어떻게 통합할 수 있는가?
• RQ5 관측치가 비용이 많이 들고 비 stationarity한 상황에서 혼돈론적이고 비선형 시스템의 제어 성능은 어느 정도 달성될 수 있는가?

주요 결과

• 제안된 이중 제어 방법은 단지 몇 개의 관측치만으로도 30단계 이내에 로지스틱 맵을 안정화시키며, 목표값의 10% 이내로 제어 성능을 달성하였다.
• 카트-역퍼레일 펜듈럼 시스템의 경우, 소수의 자료로도 안정적인 위치 제어를 달성하였으며, 비선형성과 불확실성에 대한 강건성을 입증하였다.
• 엔트로피를 정보 측정법으로 사용함으로써 효과적인 활성 학습이 가능해졌으며, 각 제어 동작이 정보 수익을 극대화하면서도 제어 성능을 유지하도록 선택되었다.
• 반복적이고 피드백 기반의 프레임워크는 초기 시스템 지식 부족에도 불구하고 지속적인 모델 정밀화와 시간에 따른 제어 성능 향상을 가능하게 하였다.
• 결과적으로 엔트로피를 통한 명시적 정보 정량화는 블랙박스 제어에서 탐색과 이용 사이의 원칙적인 트레이드오프를 가능하게 하였다.
• 베이지안 학습을 통한 식별 및 제어 목표의 동시 최적화 덕분에, 기존의 접근 방식보다 자료 부족 환경에서 더 뛰어난 성능을 보였다.