[논문 리뷰] Practical Learning of Predictive State Representations

Carlton Downey, Ahmed Hefny외 1명|arXiv (Cornell University)|2017. 02. 14.

Machine Learning and Algorithms참고 문헌 12인용 수 5

한 줄 요약

이 논문은 예측 중심 손실 함수를 사용하여 스펙트럼 초기화와 기울기 기반 개선을 결합하는 Inference Gradients라는 방법을 소개한다. 이는 예측 상태 표현(PSR)의 성능을 향상시킨다. 가능성을 최대화하는 대신 예측 정확도를 최적화함으로써, 합성 및 실제 데이터셋 모두에서 표준 PSR와 PSIM을 능가하는 뛰어난 성능을 달성한다.

ABSTRACT

Over the past decade there has been considerable interest in spectral algorithms for learning Predictive State Representations (PSRs). Spectral algorithms have appealing theoretical guarantees; however, the resulting models do not always perform well on inference tasks in practice. One reason for this behavior is the mismatch between the intended task (accurate filtering or prediction) and the loss function being optimized by the algorithm (estimation error in model parameters). A natural idea is to improve performance by refining PSRs using an algorithm such as EM. Unfortunately it is not obvious how to apply apply an EM style algorithm in the context of PSRs as the Log Likelihood is not well defined for all PSRs. We show that it is possible to overcome this problem using ideas from Predictive State Inference Machines. We combine spectral algorithms for PSRs as a consistent and efficient initialization with PSIM-style updates to refine the resulting model parameters. By combining these two ideas we develop Inference Gradients, a simple, fast, and robust method for practical learning of PSRs. Inference Gradients performs gradient descent in the PSR parameter space to optimize an inference-based loss function like PSIM. Because Inference Gradients uses a spectral initialization we get the same consistency benefits as PSRs. We show that Inference Gradients outperforms both PSRs and PSIMs on real and synthetic data sets.

연구 동기 및 목표

• 이론적으로 일관된 스펙트럼 PSR 학습과 실용적 예측 작업에서의 열악한 성능 사이의 격차를 해소하기 위해.
• 모든 PSR 모델에 대해 정의되지 않은 로그우도로 인해 EM 방식 알고리즘이 PSR에서 제한을 받는 문제를 극복하기 위해.
• 우도가 아닌 예측 정확도를 최적화하는 데 초점을 맞춘, 강건하고 효율적인 PSR 파라미터 개선 방법을 개발하기 위해.
• 스펙트럼 초기화의 일관성과 예측 기반 최적화의 성능 향상 효과를 결합하기 위해.
• 장기 예측 효과을 최적화함으로써 일반화 능력 향상과 미관측 상태에서의 오차 감소를 이룰 수 있음을 보여주기 위해.

제안 방법

• 통계적 일관성과 계산 효율성을 보장하기 위해 스펙트럼 알고리즘을 사용해 PSR 파라미터를 초기화한다.
• 로그우도 대신 예측 기반 손실 함수를 사용하는 기울기 하강법인 Inference Gradients를 도입한다.
• 예측 상태 추론 기반 기계(PSIM)의 아이디어를 활용해, 미분 가능하고 예측 중심의 목적 함수를 정의한다.
• 테스트 트레이젝터리(다단계 예측 포함)에서 예측 오차를 최소화하기 위해 PSR 파라미터 공간에서 기울기 업데이트를 수행한다.
• 고정된 학습률과 L1 정규화된 기울기를 사용하여, 다양한 방법 간의 안정적이고 비교 가능한 최적화를 보장한다.
• 장기 예측 성능을 향상시키기 위해 다단계 추론 기울기를 적용함으로써 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 우도 최대화에 의존하지 않고 스펙트럼 초기화를 넘어서 PSR 성능을 향상시킬 수 있는 기울기 기반 개선 방법이 존재하는가?
• RQ2 로그우도가 아닌 예측 성능 최적화가 필터링 및 예측 작업에서 더 높은 예측 정확도를 이끌어내는가?
• RQ3 초기화 방법(스펙트럼 대비 무작위)의 선택이 기울기 기반 PSR 학습의 수렴과 최종 성능에 어떤 영향을 미치는가?
• RQ4 다단계 예측 목표 함수는 병리적인 추론 상태에서의 일반화 능력 향상과 오차 감소에 기여하는가?
• RQ5 제안된 방법이 실제 및 합성 데이터에서 기존 최첨단 PSR 학습 알고리즘보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• Inference Gradients는 합성 및 실제 데이터셋 전반에서 OSPA 및 L2 상태 오차를 포함한 모든 지표에서 표준 PSR와 PSIM을 능가한다.
• 다단계 Inference Gradients는 OSPA와 중앙값 L2 상태 오차에서 최고 성능을 기록하여, 미관측 상태로의 일반화 능력이 뛰어나다는 것을 시사한다.
• Inference Gradients를 적용함으로써 로그 평균 L2 상태 오차가 크게 감소하여, 추론 과정에서 병리적 상태의 빈도와 크기가 감소함을 보여준다.
• 무작위 초기화된 Inference Gradients는 성능이 열악하고 조기에 정체되며, 국소 최적해를 피하기 위해 스펙트럼 초기화의 핵심적 역할을 확인한다.
• EM 방식과 유사하게 음의 로그우도를 최적화하더라도 OSPA는 향상되지 않으며, PNLL는 감소함을 확인함으로써, 우도는 예측 성능의 나쁜 대체 지표임을 시사한다.
• 예측 목표가 목적일 경우, PSR 학습에 있어 우도 기반 손실 함수보다 추론 기반 손실 함수가 더 효과적임을 결과가 시사한다.