[논문 리뷰] Learning to Filter with Predictive State Inference Machines

Wen Sun, Arun Venkatraman외 2명|arXiv (Cornell University)|2015. 12. 30.

Machine Learning and Algorithms참고 문헌 30인용 수 7

한 줄 요약

이 논문은 예측 상태 표현(PSR)을 사용하여 추론을 지도학습 문제로 재정의함으로써 잠재 상태 공간 모델에 대한 필터링 정책을 직접 학습하는 데이터 기반 방법인 예측 상태 추론 기계(PSIM)를 소개한다. 현재 관측치와 예측 상태를 입력으로 받아 다음 예측 상태를 출력하는 예측자들을 학습시킴으로써, PSIM은 실현 가능(setting)과 무지각(setting) 모두에서 이론적 성능 보장을 달성하며, 특징 복잡도가 크게 감소한 채로 시뮬레이션 및 실제 로봇 벤치마크에서 전통적 방법을 능가한다.

ABSTRACT

Latent state space models are a fundamental and widely used tool for modeling dynamical systems. However, they are difficult to learn from data and learned models often lack performance guarantees on inference tasks such as filtering and prediction. In this work, we present the PREDICTIVE STATE INFERENCE MACHINE (PSIM), a data-driven method that considers the inference procedure on a dynamical system as a composition of predictors. The key idea is that rather than first learning a latent state space model, and then using the learned model for inference, PSIM directly learns predictors for inference in predictive state space. We provide theoretical guarantees for inference, in both realizable and agnostic settings, and showcase practical performance on a variety of simulated and real world robotics benchmarks.

연구 동기 및 목표

• 최대가능도(ML)와 스펙트럼 학습과 같은 전통적 잠재 상태 공간 모델 학습 방법에서 성능 보장의 부재, 특히 모델 불일치 상황에서의 성능 보장을 해결하기 위해.
• 예측 상태 표현(PSR)을 활용하여 추론 기계의 지도 학습 요구 조건을 해소함으로써 관측치만으로도 엔드 투 엔드 학습을 가능하게 하기 위해.
• 생성 모델을 먼저 학습할 필요 없이 추론 절차를 지도학습 과제로 간주하여 직접 필터링 성능을 최적화하기 위해.
• 일반적인 비선형 역학 시스템에 대해 실현 가능 및 무지각 설정 모두에서 필터링 성능에 대한 이론적 보장을 제공하기 위해.
• 예측 상태 표현이 원시 관측치 역사보다 더 컴팩트하고 효과적인 특징 공간을 제공함으로써 학습 복잡도를 감소시킬 수 있음을 입증하기 위해.

제안 방법

• PSIM은 현재 예측 상태와 관측치를 입력으로 받아 다음 예측 상태를 출력하는 예측자들의 조합으로 필터링을 모델링하며, 블랙박스 지도학습 학습기(learner)를 사용한다.
• 신뢰도 있는 미래 관측치에 대한 믿음(belief)을 표현하기 위해 예측 상태 표현(PSR)을 활용함으로써 암시적 잠재 상태 추정을 피한다.
• 두 가지 학습 알고리즘을 제안한다: 데이터 효율성을 높이기 위한 DAgger 기반 알고리즘과 실현 가능 설정에서 일致성을 확보하기 위한 전진 학습(forward training).
• 예측된 예측 상태로부터 실제 미래 관측치의 가능도를 기반으로 하는 손실 함수를 사용함으로써 엔드 투 엔드 최적화를 가능하게 한다.
• 선형 및 비선형 회귀기(예: RFF, 릿지 회귀)를 지원하며, DAgger 해를 개선하기 위해 역전파(back-propagation)를 사용한다.
• 예측 상태는 향후 k개의 관측치에 대해 정의되며, 더 긴 수평선은 더 많은 정보를 포착하고 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 잠재 상태 공간 모델의 비지도 학습을 지도학습 문제로 환원하면서도 이론적 성능 보장을 유지할 수 있는가?
• RQ2 예측 상태 예측자 기반의 직접적 엔드 투 엔드 학습이 전통적인 모델 기반 접근법보다 추론 정확도와 내성성 면에서 뛰어나게 되는가?
• RQ3 진짜 시스템이 가정된 모델 클래스에 포함되지 않는 무지각 설정에서 PSIM이 강력한 성능을 유지할 수 있는가?
• RQ4 예측 상태 수평선 k의 선택이 필터링 정확도와 특징 효율성에 어떤 영향을 미치는가?
• RQ5 PSIM은 로봇 조작 및 운동 캡처와 같은 복잡한 실제 역학 시스템에 효과적으로 일반화될 수 있는가?

주요 결과

• DAgger를 사용한 PSIM은 모든 벤치마크에서 AR-k 모델을 능가하며, 훈련 데이터가 제한된 경우에도 6차원의 컴팩트한 예측 상태 표현 공간을 사용함으로써 AR-k의 70차원 공간보다 우수한 성능을 보였다.
• 로봇 드릴 조립 데이터셋에서, DAgger를 사용한 PSIM은 선형 릿지 회귀를 사용해 1단계 필터링 오차 2.05±0.08을 기록하며 기준 모델을 초월했다.
• 비디오 텍스처에 대해서는 RFF를 사용한 PSIM이 k=1에 비해 오차를 32% 감소시켜 더 긴 예측 상태 수평선의 이점을 입증했다.
• 역전파 보정을 적용한 PSIM는 DAgger에 비해 약간의 성능 향상을 보였으며, 이는 DAgger가 이미 고품질의 해를 찾고 있음을 시사한다.
• 다단계 예측에서 PSIM은 모든 데이터셋에서 AR-k 및 기준 모델을 일관되게 능가했으며, 깃발 흔들림과 해변 파도와 같은 복잡한 역학 시스템에서도 성능을 유지를 하였다.
• PSIM에서 k=1과 k=5의 성능 격차는 해변 비디오에서 가장 두드러졌으며, 32% 향상된 결과를 보였고, 이는 더 긴 수평선이 더 정보가 풍부한 예측 상태를 캡처하고 있음을 확인했다.