[論文レビュー] Practical Learning of Predictive State Representations

Carlton Downey, Ahmed Hefny+1 more|arXiv (Cornell University)|Feb 14, 2017

Machine Learning and Algorithms参考文献 12被引用数 5

ひとこと要約

この論文では、推論指向の損失関数を用いた勾配ベースの最適化とスペクトル初期化を組み合わせることで、予測状態表現（PSR）の性能を向上させる Inference Gradients という手法を紹介する。尤度の最大化に依存せず、予測精度を最適化することで、合成データおよび実世界のデータセットにおいて、標準的な PSR や PSIM より優れた性能を達成する。

ABSTRACT

Over the past decade there has been considerable interest in spectral algorithms for learning Predictive State Representations (PSRs). Spectral algorithms have appealing theoretical guarantees; however, the resulting models do not always perform well on inference tasks in practice. One reason for this behavior is the mismatch between the intended task (accurate filtering or prediction) and the loss function being optimized by the algorithm (estimation error in model parameters). A natural idea is to improve performance by refining PSRs using an algorithm such as EM. Unfortunately it is not obvious how to apply apply an EM style algorithm in the context of PSRs as the Log Likelihood is not well defined for all PSRs. We show that it is possible to overcome this problem using ideas from Predictive State Inference Machines. We combine spectral algorithms for PSRs as a consistent and efficient initialization with PSIM-style updates to refine the resulting model parameters. By combining these two ideas we develop Inference Gradients, a simple, fast, and robust method for practical learning of PSRs. Inference Gradients performs gradient descent in the PSR parameter space to optimize an inference-based loss function like PSIM. Because Inference Gradients uses a spectral initialization we get the same consistency benefits as PSRs. We show that Inference Gradients outperforms both PSRs and PSIMs on real and synthetic data sets.

研究の動機と目的

• 理論的に整合性のあるスペクトル PSR 学習と、推論タスクにおける実用的性能の間のギャップを埋めること。
• すべての PSR モデルにおいて定義が不明瞭な対数尤度のため、EM スタイルのアルゴリズムが PSR で直面する制限を克服すること。
• 尤度の最大化ではなく、予測精度を最適化することを目的とした、ロバストで効率的な PSR パrameter の精練手法を開発すること。
• スペクトル初期化の整合性と、推論に基づく最適化による性能向上を組み合わせること。
• 長期予測の効果を最適化することで、未知の状態における一般化性能が向上し、誤差が低減することを示すこと。

提案手法

• 統計的整合性と計算効率を保証するため、スペクトルアルゴリズムを用いて PSR パrameter を初期化する。
• 対数尤度の代わりに推論指向の損失関数を用いる勾配降下法である Inference Gradients を導入する。
• 予測状態推論機械（PSIMs）のアイデアを活用し、微分可能で推論指向の目的関数を定義する。
• テスト軌道（多段階予測を含む）における予測誤差を最小化するために、PSR パrameter 空間で勾配更新を行う。
• 固定学習率と L1 正規化勾配を用いることで、異なる手法間での安定的かつ比較可能な最適化を確保する。
• 長期予測性能を最適化するために、多段階推論勾配を適用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 尤度最大化に依存せず、対数尤度最大化に依存しない勾配ベースの精練手法は、スペクトル初期化を超えて PSR の性能を向上させることができるか？
• RQ2 対数尤度ではなく推論性能を最適化することで、フィルタリングおよび予測タスクにおける予測精度が向上するか？
• RQ3 初期化の選択（スペクトル vs. ランダム）が、勾配ベースの PSR 学習の収束性および最終的な性能に与える影響は何か？
• RQ4 多段階予測の目的関数は、病理的推論状態における一般化性能の向上と誤差低減に寄与するか？
• RQ5 提案手法は、実データおよび合成データにおいて、既存の最先端 PSR 学習アルゴリズムをどの程度上回るか？

主な発見

• Inference Gradients は、合成データおよび実世界のデータセットの全指標において、標準的な PSR や PSIM を上回る性能を発揮する。これには OSPA と L2 状態誤差が含まれる。
• 多段階 Inference Gradients は、OSPA と中央値 L2 状態誤差で最高の性能を達成しており、未知の状態への一般化性能が優れていることを示している。
• Inference Gradients を用いることで、対数平均 L2 状態誤差が顕著に低下し、推論中の病理的状態の頻度と大きさが減少していることが示された。
• ランダム初期化を用いた Inference Gradients は性能が低く、早期に収束に達するため、局所最適解を避けるためにスペクトル初期化が極めて重要であることが明らかになった。
• EM と同様に負の対数尤度を最適化しても、OSPA は向上せず、PNLL の低下とは無関係であるため、尤度は予測性能の良い代理指標ではないことが示された。
• 予測を目的とした PSR の学習において、尤度ベースの損失関数よりも推論ベースの損失関数がより効果的であることが結果から示唆される。