[논문 리뷰] A Hierarchical Bayesian Linear Regression Model with Local Features for Stochastic Dynamics Approximation

Behnoosh Parsa, Keshav Rajasekaran외 2명|arXiv (Cornell University)|2018. 07. 11.

Model Reduction and Neural Networks참고 문헌 4인용 수 5

한 줄 요약

이 논문은 비선형 시스템의 확률적 역학을 근사하기 위해 국소적 특징을 갖춘 계층적 베이지안 선형 회귀 모델을 제안하며, 숨겨진 목표 변수를 도입한 변분 기대값 최대화를 통해 효율적이고 정확한 학습을 실현한다. 이 방법은 다양한 시스템—특히 마이크로 로봇 플랫폼을 포함—에서 빠르고 정확한 예측을 가능하게 하여 실시간 모델 기반 제어 응용 분야에서 강건성과 확장성을 입증한다.

ABSTRACT

One of the challenges in model-based control of stochastic dynamical systems is that the state transition dynamics are involved, and it is not easy or efficient to make good-quality predictions of the states. Moreover, there are not many representational models for the majority of autonomous systems, as it is not easy to build a compact model that captures the entire dynamical subtleties and uncertainties. In this work, we present a hierarchical Bayesian linear regression model with local features to learn the dynamics of a micro-robotic system as well as two simpler examples, consisting of a stochastic mass-spring damper and a stochastic double inverted pendulum on a cart. The model is hierarchical since we assume non-stationary priors for the model parameters. These non-stationary priors make the model more flexible by imposing priors on the priors of the model. To solve the maximum likelihood (ML) problem for this hierarchical model, we use the variational expectation maximization (EM) algorithm, and enhance the procedure by introducing hidden target variables. The algorithm yields parsimonious model structures, and consistently provides fast and accurate predictions for all our examples involving large training and test sets. This demonstrates the effectiveness of the method in learning stochastic dynamics, which makes it suitable for future use in a paradigm, such as model-based reinforcement learning, to compute optimal control policies in real time.

연구 동기 및 목표

• 내재된 불확실성과 비선형성을 지닌 확률적 동적 시스템의 정확하고 압축적이며 추론이 빠른 모델을 학습하는 데 도전하는 것.
• 계층적 사전분포와 국소적 특징 가중치를 조합하여 국소 역학에 적응하는 유연한 회귀 프레임워크를 개발하는 것.
• 최소한의 계산 오버헤드로 빠른 추론과 효율적인 온라인 학습을 보장함으로써 실시간 모델 기반 제어를 가능하게 하는 것.
• 로봇 및 마이크로 로봇 플랫폼을 포함한 고차원적이고 노이즈가 많은 시스템에서 예측 정확도 향상과 모델의 단순성 향상을 이루는 것.
• 계산적으로 다루기 쉬운 동시에 시스템 역학의 불확실성을 포착하는 확장 가능한 베이지안 접근법을 제공하는 것.

제안 방법

• 모델은 비정상적인 사전분포를 회귀 계수에 적용하여 국소 역학에 대한 유연성과 적응성을 향상시키는 계층적 베이지안 구조를 사용한다.
• 국소적 특징은 각 예측이 질의점에 가까운 훈련 데이터의 부분집합에 가중치를 두어 기반을 이루는 局부 가중 회귀 메커니즘을 통해 통합된다.
• 최대우도 추정 문제를 해결하기 위해 변분 기대값 최대화(VEM) 알고리즘을 사용하며, 수렴성과 최적화 안정성을 향상시키기 위해 숨겨진 목표 변수를 도입한다.
• 표준 정규성 가정 하에 알고리즘이 최적의 로그우도 값으로 수렴함이 보장되어 안정적인 학습을 보장한다.
• 계산 비용을 줄이기 위해 희소 근사 전략을 사용하며, M ≪ N 조건에서 O(NM²) 복잡도를 유지하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 가중치에 대한 하이퍼사전분포를 통한 자동 관련성 결정(ARD)을 통해 모델의 단순성 구조를 달성하고, 특징 제거와 일반화 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 국소적 특징을 갖춘 계층적 베이지안 모델이 복잡한 확률적 역학을 근사하는 데 있어 전역 회귀 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ2 VEM 알고리즘에 숨겨진 목표 변수를 포함시킬 경우, 확률적 역학 학습에서 수렴성과 예측 정확도는 어떻게 향상되는가?
• RQ3 이 방법은 대규모 훈련 및 테스트 세트에 대해 얼마나 잘 확장될 수 있으며, 실시간 제어를 위한 빠른 추론을 유지할 수 있는가?
• RQ4 이 모델은 마이크로 로봇 시스템과 같은 비선형적이고 노이즈가 많은 비정상적 동적 시스템에서 불확실성과 비정상성을 얼마나 잘 포착할 수 있는가?
• RQ5 자동 특징 선택과 하이퍼사전분포 기반 정규화를 통해 높은 예측 정확도와 동시에 모델의 단순성도 달성할 수 있는가?

주요 결과

• 모델은 모든 테스트 시스템에서 일관되게 빠르고 정확한 예측을 달성하였으며, 대규모 데이터를 포함한 도전적인 마이크로 로봇 플랫폼에서도 성능을 유감없이 보였다.
• 숨겨진 목표 변수를 포함한 변분 기대값 최대화 알고리즘이 안정적으로 최적의 로그우도 값으로 수렴하였으며, 합리적인 가정 하에 안정적인 학습이 보장되었다.
• 모델은 뛰어난 일반화 성능을 보였으며, 자동 특징 제거를 통한 단순한 모델을 도출하였다—예를 들어, SDIP 시스템의 모델 3에서는 편향 항과 선형 항이 제거되었다.
• SDIP 시스템의 경우, β_f1 = 974.10, β_f2 = 983.51, β_f3 = 976.02와 같은 학습된 매개변수를 통해 높은 정밀도의 역학 근사를 달성하였으며, 이는 예측에 대한 높은 신뢰도를 의미한다.
• 모델은 대규모 데이터셋에 효과적으로 확장되었으며, 가장 큰 시스템(SDIP)은 60만 개 이상의 데이터 포인트를 사용하였고, 높은 로그우도 값(예: β_f1 = 622729.59)을 기록하여 강력한 피팅과 불확실성 정량화를 반영하였다.
• 기본 전역 모델 대비 예측 정확도와 계산 효율성에서 뛰어난 성능을 보였으며, 실시간 모델 기반 강화 학습에 적합한 것으로 입증되었다.