[논문 리뷰] Hilbert Space Embeddings of Predictive State Representations

Byron Boots, Geoffrey J. Gordon외 1명|arXiv (Cornell University)|2013. 09. 26.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 36

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에 조건부 분포 임bedding으로서 상태를 표현함으로써 이산 PSR를 연속 동작과 관측으로 일반화하는 비모수적 방법인 힐버트 공간 임베딩 예측 상태 표현(HSE-PSRs)을 소개한다. 커널 베이즈의 정리와 모멘트 기반 학습을 사용하여 밀도 추정 없이 통계적으로 일致한 추정을 달성하며, 예측 오차가 낮아 연속 제어 벤치마크에서 경쟁하는 시스템 식별 방법들을 능가한다.

ABSTRACT

Predictive State Representations (PSRs) are an expressive class of models for controlled stochastic processes. PSRs represent state as a set of predictions of future observable events. Because PSRs are defined entirely in terms of observable data, statistically consistent estimates of PSR parameters can be learned efficiently by manipulating moments of observed training data. Most learning algorithms for PSRs have assumed that actions and observations are finite with low cardinality. In this paper, we generalize PSRs to infinite sets of observations and actions, using the recent concept of Hilbert space embeddings of distributions. The essence is to represent the state as a nonparametric conditional embedding operator in a Reproducing Kernel Hilbert Space (RKHS) and leverage recent work in kernel methods to estimate, predict, and update the representation. We show that these Hilbert space embeddings of PSRs are able to gracefully handle continuous actions and observations, and that our learned models outperform competing system identification algorithms on several prediction benchmarks.

연구 동기 및 목표

• 예측 상태 표현(PSRs)을 연속적이고 고카디널리티가 높은 동작 및 관측 공간으로 확장하기 위해.
• 이전의 연속 PSR 방법들이 파라미터 가족이나 밀도 추정에 의존하는 한계를 극복하기 위해.
• 커널 방법과 힐버트 공간 임베딩을 사용하여 PSRs에 대한 통계적으로 일치하는 학습 알고리즘을 개발하기 위해.
• 단지 레이블이 없는 동작 및 관측 시퀀스만을 사용하여 부분적으로 관측 가능하고 비선형 동적 시스템에서 정확한 예측을 가능하게 하기 위해.
• 연속 제어 작업에서 기존의 시스템 식별 방법들에 비해 뛰어난 성능을 보여주기 위해.

제안 방법

• 재생 커널 힐버트 공간(RKHS)에서 비모수적 조건부 임베딩 연산자로서 상태를 표현하며, 테스트 및 이력 분포의 커널화된 표현을 사용한다.
• 커널 베이즈의 정리를 사용하여 필터링 및 상태 갱신을 수행함으로써, 명시적 밀도 추정 없이도 RKHS에서 베이지안 추론을 가능하게 한다.
• 커널 기법을 활용하여 상태와 연산자를 암묵적으로 표현함으로써, 훈련 데이터에 비례하는 상태 벡터 크기를 유지한다.
• 테스트와 이력의 공동 확률 행렬에 대한 특이값 분해를 통한 모멘트 기반 학습을 사용하여 통계적 일치성을 보장한다.
• 연속 관측과 동작을 모델링하기 위해 가우시안 RBF 커널을 적용하여 복잡한 동역학을 비모수적으로 모델링할 수 있도록 한다.
• RKHS 내에서 선형 예측 함수를 유지함으로써, 선형 대수를 사용한 효율적인 필터링과 예측이 가능하다.

실험 결과

연구 질문

• RQ1 통계적 일치성을 유지하면서 PSRs를 연속적이고 고카디널리티가 높은 동작 및 관측 공간으로 일반화할 수 있는가?
• RQ2 분포의 힐버트 공간 임베딩이 파라미터 가족을 가정하지 않고도 정확한 비모수적 예측 상태 역학 모델링을 가능하게 하는가?
• RQ3 HSE-PSRs의 성능은 연속 제어 작업에서 기존의 시스템 식별 방법들과 비교해 어떻게 되는가?
• RQ4 제안된 방법은 레이블이 없는 동작 및 관측 시퀀스로부터 잠재 상태가 레이블이 없는 상태에서도 학습이 가능한가?
• RQ5 커널 기반 학습 알고리즘이 EM 기반 또는 파라미터 기반 대안들보다 더 높은 예측 정확도를 달성하는가?

주요 결과

• 카트폴 벤치마크에서 HSE-PSRs는 K-LDS, LDS, IO-HMM 기준선을 모두 능가하여 모든 예측 수준에서 가장 낮은 평균 제곱오차(MSE)를 기록했다.
• 슬롯카 데이터셋에서 HSE-PSR은 IMU 읽기 예측 시 가장 낮은 RMSE를 기록했으며, 안정화된 LDS 및 IO-HMM을 포함한 모든 경쟁 모델보다 뚜렷이 뛰어났다.
• 로봇 엔드일렉터 예측 작업에서 HSE-PSR은 K-LDS 및 안정화된 LDS보다 유의미하게 낮은 평균 예측 오차를 기록했으며, 후자들은 불안정하거나 정확도가 떨어지는 모델을 생성했다.
• HSE-PSR 모델은 밀도 추정이나 수치적 적분 없이도 모든 벤치마크에서 일관된 성능을 보였다.
• 특히 고차원 연속 관측 공간에서 비정상적 동역학과 복잡한 비선형성에 대해 뛰어난 강인성을 보였다.
• 알고리즘은 통계적 일치성과 확장성을 유지하였으며, 모델 크기가 훈련 데이터에 비례하여 선형적으로 증가하여 실용적 구현이 가능했다.