[논문 리뷰] Latent Kullback Leibler Control for Continuous-State Systems using Probabilistic Graphical Models

Takamitsu Matsubara, Vicenç Gómez외 1명|arXiv (Cornell University)|2014. 06. 04.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 18

한 줄 요약

이 논문은 연속 상태 확률적 최적 제어 문제를 이산 잠재 변수를 사용하여 확률적 그래픽 모델에 통합함으로써 효율적이고 확장 가능한 최적 제어를 가능하게 하는 잠재 Kullback-Leibler (KL) 제어 프레임워크를 제안한다. HMM 또는 인자형 HMM (FHMM)를 통해 저차원의 잠재 표현을 학습함으로써 고차원 연속 제어 문제를 잠재 공간 내에서 다루기 쉬운 고유벡터 문제로 변환하며, 계산 시간이 선형적으로 증가하는 방식으로 최대 25도의 자유도를 가진 시스템에서 거의 최적의 제어를 달성한다.

ABSTRACT

Kullback Leibler (KL) control problems allow for efficient computation of optimal control by solving a principal eigenvector problem. However, direct applicability of such framework to continuous state-action systems is limited. In this paper, we propose to embed a KL control problem in a probabilistic graphical model where observed variables correspond to the continuous (possibly high-dimensional) state of the system and latent variables correspond to a discrete (low-dimensional) representation of the state amenable for KL control computation. We present two examples of this approach. The first one uses standard hidden Markov models (HMMs) and computes exact optimal control, but is only applicable to low-dimensional systems. The second one uses factorial HMMs, it is scalable to higher dimensional problems, but control computation is approximate. We illustrate both examples in several robot motor control tasks.

연구 동기 및 목표

• 연속 상태 확률적 최적 제어 문제에서 차원의 저주를 해결하기 위해 문제를 잠재 변수 모델에 통합한다.
• 직접 KL 제어가 비현실적인 고차원 연속 시스템에서 최적 제어를 효율적으로 계산할 수 있도록 한다.
• 시스템의 동역학을 명시적으로 알 필요 없이 시스템 궤적에서 연속 상태의 근사 이산 표현을 데이터 기반으로 학습하는 접근법을 개발한다.
• 인자형 HMM을 사용하여 다도어 자유도 로봇 제어 과제에서의 확장성과 거의 최적의 성능를 입증한다.
• 확률적 모델링과 KL 제어를 융합하여 계산 효율성과 제어 성능 사이의 균형을 이루는 프레임워크를 제공한다.

제안 방법

• 관측 변수가 연속 상태를 나타내고 잠재 변수가 이산적이고 저차원의 상태 표현을 나타내는 확률적 그래픽 모델에서 제어 문제를 수립한다.
• 저차원 시스템에서는 정확한 추론과 제어 계산을 위해 은닉 마르코프 모델(HMM)을 사용하고, 고차원 시스템에서는 확장 가능한 근사 추론을 위해 인자형 HMM(FHMM)을 사용한다.
• 시스템의 동역학을 알 필요 없이 탐색적 제어 입력을 통해 수집한 데이터에서 모델 파라미터(전이 및 방출 확률)를 학습한다.
• KL 제어 문제의 선형 가역성에 기반하여 잠재 공간에서 주요 고유벡터 문제를 해결함으로써 제어 계산을 수행한다.
• 실제 시스템 구동을 위해 잠재 제어 정책을 관측 상태 공간으로 매핑하기 위해 필터링 단계를 적용한다.
• 변분 추론과 근사 고유벡터 계산(AVKL)을 사용하여 고차원 문제에까지 확장 가능하게 하며, 계산 복잡도가 시스템 차원에 따라 선형적으로 증가한다.

실험 결과

연구 질문

• RQ1 잠재 변수 모델이 연속 상태 확률적 최적 제어 문제의 복잡도를 효과적으로 줄이면서도 제어 성능을 유지할 수 있는가?
• RQ2 정확한 HMM 기반 방법과 비교해 인자형 HMM이 고차원 시스템에 대해 어떻게 확장 가능성을 제공하는가?
• RQ3 잠재 공간에서의 근사 추론을 사용할 경우 계산 효율성과 제어 정확성 사이의 상호 상충 관계는 어떠한가?
• RQ4 제시된 방법이 시스템의 동역학을 명시적으로 알 필요 없이 고차원 로봇 운동 과제에서 거의 최적의 제어를 달성할 수 있는가?
• RQ5 계산 시간과 제어 오차 측면에서 자유도 증가에 따라 방법의 확장성은 어떻게 변화하는가?

주요 결과

• 정확한 HMM 기반 KL 제어 방법은 정확한 추론의 지수적 증가로 인해 잠재 상태 수가 4개 미만(M < 4)인 시스템에서만 가능하다.
• 변분 KL(VKL) 방법은 최대 7도의 자유도까지 확장 가능하지만, 계산 시간이 시스템 차원에 따라 지수적으로 증가한다.
• 근사 변분 KL(AVKL) 방법은 자유도 수에 따라 선형적으로 확장 가능하여 최대 25도의 자유도를 가진 시스템의 제어 계산을 가능하게 한다.
• AVKL은 시스템 차원 증가에 관계없이 거의 일정한 제어 오차를 유지하며, 이는 강건성과 확장성의 증거이다.
• 관측 공간에서의 제어 계산은 AVKL 방법을 통해 선형적으로 증가하지만, 정확한 방법은 7~10도의 자유도를 초과하면 비현실적이게 된다.
• 이 방법은 다도어 자유도 로봇 팔이 다양한 초기 자세에서 목표 위치를 향해 제어되며 관절 제한을 준수하는 데 성공했으며, 특히 25도 자유도의 고차원 과제에서도 효과적으로 작동한다.