[論文レビュー] Exploring compact reinforcement-learning representations with linear regression

Thomas J. Walsh, István Szita+2 more|arXiv (Cornell University)|May 9, 2012

Reinforcement Learning in Robotics参考文献 14被引用数 7

ひとこと要約

本論文は、KWIK（知っていることは知っている）フレームワークを満たす、より優れたサンプル複雑度の境界を達成する新しいオンライン線形回帰アルゴリズムを導入する。このアルゴリズムにより、要因分解されたMDPにおける報酬関数や、確率的STRIPSおよびオブジェクト指向MDPにおける結果確率といった、これまでRLの文脈で効率的に学習可能であると知られていなかった分野において、コンパクトな表現の効率的学習が可能になる。

ABSTRACT

This paper presents a new algorithm for online linear regression whose efficiency guarantees satisfy the requirements of the KWIK (Knows What It Knows) framework. The algorithm improves on the complexity bounds of the current state-of-the-art procedure in this setting. We explore several applications of this algorithm for learning compact reinforcement-learning representations. We show that KWIK linear regression can be used to learn the reward function of a factored MDP and the probabilities of action outcomes in Stochastic STRIPS and Object Oriented MDPs, none of which have been proven to be efficiently learnable in the RL setting before. We also combine KWIK linear regression with other KWIK learners to learn larger portions of these models, including experiments on learning factored MDP transition and reward functions together.

研究の動機と目的

• サンプル効率性を追求しつつ、強化学習におけるコンパクトで一般化可能な表現を学ぶという課題に取り組む。
• 要因分解MDPやオブジェクト指向MDPといった構造的MDPにおける、重要な構成要素に対する効率的な学習保証の欠如を克服する。
• オンライン学習の効率要件を満たすKWIKフレームワークに適合する線形回帰アルゴリズムを開発する。
• 構造的RL設定における報酬関数および遷移確率のサンプル効率的な学習を可能にする。
• KWIK線形回帰と他のKWIK学習者を組み合わせることで、複雑なMDPにおけるより大きなモデル部品へのスケーリングを実現する。

提案手法

• 先行研究と比較して、改善されたサンプル複雑度の境界を達成する、新しいオンライン線形回帰アルゴリズムを提案する。
• アルゴリズムをKWIK学習フレームワークに統合し、高い信頼性を持つ予測のみを実行し、不確実性を明示的に特定できるようにする。
• 報酬を特徴量の線形関数としてモデル化することで、要因分解MDPにおける報酬関数の学習に同アルゴリズムを適用する。
• 同様のアルゴリズムを、行動に確率的効果を持つStochastic STRIPSおよびオブジェクト指向MDPにおける結果確率の学習に適用する。
• KWIK線形回帰学習者と他のKWIK学習者（例：価値関数や遷移モデル用）を組み合わせることで、構造的MDPのより大きな部分の学習を可能にする。
• KWIKフレームワーク下でのサンプル効率性および学習の正しさに関する理論的保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して、改善されたサンプル複雑度の境界を達成するKWIK準拠の線形回帰アルゴリズムを設計することは可能か？
• RQ2 KWIK線形回帰を用いることで、要因分解MDPにおける報酬関数を効率的に学習することは可能か？
• RQ3 KWIK線形回帰を、確率的STRIPSおよびオブジェクト指向MDPにおける行動結果確率の学習に適用することは可能か？
• RQ4 KWIK線形回帰と他のKWIK学習者の組み合わせにより、構造的MDPにおける連合遷移および報酬関数の効率的学習が可能か？
• RQ5 本手法を用いることで、従来は学習不可能とされていた構造的RL設定の成分が、今や効率的に学習可能になるか？

主な発見

• 提案されたKWIK線形回帰アルゴリズムは、KWIKフレームワークにおける最先端の手法と比較して、より優れたサンプル複雑度の境界を達成する。
• このアルゴリズムにより、従来は強化学習において効率的に学習可能であると知られていなかった要因分解MDPにおける報酬関数の効率的かつサンプル効率的な学習が可能になる。
• 本手法は、強化学習において従来の効率的学習保証が欠如していた、確率的STRIPSおよびオブジェクト指向MDPにおける結果確率の学習に成功した。
• KWIK線形回帰学習者と他のKWIK学習者の組み合わせにより、要因分解MDPにおける遷移関数と報酬関数の連合学習が可能となり、より大きなモデル部品へのスケーラビリティが実証された。
• 理論的枠組みにより、予測は常に自信がある場合にのみ行われ、不確実性が明示的に扱われるため、学習の信頼性が向上する。
• 本手法は、いくつかの構造的MDP形式における報酬モデルおよび遷移モデルの、初めての保証付き効率的学習手法を提供し、学習可能なRL表現の範囲を拡張した。