[論文レビュー] Learning to Make Predictions In Partially Observable Environments Without a Generative Model

Erik Talvitie, Satinder Singh|arXiv (Cornell University)|Jan 16, 2014

Neural Networks and Applications参考文献 41被引用数 14

ひとこと要約

この論文は、完全な生成モデルを必要とせず、部分的に観測可能な環境において特定の制限された予測を行う非生成的で部分的なモデルである予測プロファイルモデルを導入する。学習問題を重要な予測に限定することで、標準的な生成モデル（例：POMDP）が複雑さのため失敗する高次元で非マルコフ的（non-Markovian）なシステムにおいても、有効な学習が可能である。この手法は、従来のアプローチでは処理できないほど複雑な状況でも実証的に成功を収めている。

ABSTRACT

When faced with the problem of learning a model of a high-dimensional environment, a common approach is to limit the model to make only a restricted set of predictions, thereby simplifying the learning problem. These partial models may be directly useful for making decisions or may be combined together to form a more complete, structured model. However, in partially observable (non-Markov) environments, standard model-learning methods learn generative models, i.e. models that provide a probability distribution over all possible futures (such as POMDPs). It is not straightforward to restrict such models to make only certain predictions, and doing so does not always simplify the learning problem. In this paper we present prediction profile models: non-generative partial models for partially observable systems that make only a given set of predictions, and are therefore far simpler than generative models in some cases. We formalize the problem of learning a prediction profile model as a transformation of the original model-learning problem, and show empirically that one can learn prediction profile models that make a small set of important predictions even in systems that are too complex for standard generative models.

研究の動機と目的

• 高次元で部分的に観測可能な環境において、完全な生成モデルが計算的に困難となる学習問題に対処すること。
• 完全な生成モデルを必要とせず、制限された予測集合のみを学習する手法を開発すること。
• 重要な予測の小さな集合に焦点を当てることで、効果的な意思決定やモデルの統合を可能にすること。
• 部分的モデルの学習を、元のモデル学習問題への変換として形式化すること。
• 予測プロファイルモデルが、従来の生成モデルでは処理できないほど複雑なシステムにおいても、実際に学習可能であることを実証的に検証すること。

提案手法

• 完全な分布モデリングを避けるために、事前に定義された予測集合のみを出力する非生成的で部分的なモデルとして予測プロファイルモデルを提案する。
• 元のモデル学習問題を、ターゲット予測にのみ焦点を当てた制約付き最適化問題に変換する。
• すべての可能な将来状態をモデリングするのではなく、指定された結果の予測精度を直接最適化する学習フレームワークを採用する。
• すべての観測値と行動の全結合分布を推定する計算的負担を回避する構造化学習アプローチを採用する。
• 高次元入力を扱うために関数近似を用い、履歴に基づいて特定の結果を予測するための教師あり学習技術を適用する。
• 明示的な生成モデリングなしに、履歴からターゲット予測への写像を関数近似と勾配ベース最適化によって学習する。

実験結果

リサーチクエスチョン

• RQ1 完全な生成モデルを構築せずに、部分的に観測可能な環境で有効なモデルを学習することは可能か？
• RQ2 重要な予測の小さな集合に限定して学習することで、複雑さを著しく低減しつつも、予測性能を維持できるか？
• RQ3 部分的モデルの学習を、元のモデル学習問題への変換として形式化することは可能か？
• RQ4 生成モデルが失敗する高次元で非マルコフ的（non-Markovian）な環境でも、予測プロファイルモデルを実際に学習できるか？
• RQ5 予測精度と学習効率の観点から、予測プロファイルモデルは完全な生成モデルよりも優れた性能を示すか？

主な発見

• 予測プロファイルモデルは、標準的な生成モデルが非現実的となる高次元で部分的に観測可能な環境において、重要な予測の小さな集合を的確に学習することができた。
• 従来のPOMDP風の生成モデリングでは処理できないほど複雑なシステムにおいても、意味のある予測性能を達成した。
• 関連する予測にのみ焦点を当てることで、完全な生成モデル学習よりも学習問題が著しく単純化され、スケーラビリティが向上した。
• 学習問題の変換により、全状態分布をモデリングすることなく、特定の予測に対する直接的最適化が可能になった。
• 実証的結果から、予測プロファイルモデルは複雑で非マルコフ的（non-Markovian）な領域において、実際に効果的に学習され、有用な予測を生み出すことができることが示された。
• このアプローチにより、完全な生成モデリングが計算的に不可能な状況でも、実用的なモデル学習が可能になった。