[論文レビュー] Planning by Prioritized Sweeping with Small Backups

Harm van Seijen, Richard S. Sutton|arXiv (Cornell University)|Jan 10, 2013

Reinforcement Learning in Robotics参考文献 5被引用数 24

ひとこと要約

この論文は、後続状態数に依存せず1回のバックアップあたり計算時間をO(1)に抑える、細粒度で単一後続状態のみを更新する小さなバックアップを導入する。より頻繁で的を射た更新が可能になることで、従来の手法に比べて有意に高いサンプル効率を達成し、モア・アンド・アトケソンおよびペング・アンド・ウィリアムズの実装でさえも上回る。1ステップあたり1回の更新サイクルでさえも、優れた性能を発揮する。

ABSTRACT

Efficient planning plays a crucial role in model-based reinforcement learning. Traditionally, the main planning operation is a full backup based on the current estimates of the successor states. Consequently, its computation time is proportional to the number of successor states. In this paper, we introduce a new planning backup that uses only the current value of a single successor state and has a computation time independent of the number of successor states. This new backup, which we call a small backup, opens the door to a new class of model-based reinforcement learning methods that exhibit much finer control over their planning process than traditional methods. We empirically demonstrate that this increased flexibility allows for more efficient planning by showing that an implementation of prioritized sweeping based on small backups achieves a substantial performance improvement over classical implementations.

研究の動機と目的

• 価値反復および優先順位付けスイープにおける完全バックアップの高い計算コスト（後続状態数に比例）を軽減すること。
• 計算時間の割り当てをより細かく制御できる、より効率的な計画手法を開発すること。
• 特にリアルタイムまたはリソース制限のある環境において、効果的な計画を可能にすること。
• 小さなバックアップが、古典的手法に比べてサンプル効率と収束速度の両面で優れていることを示すこと。

提案手法

• 小さなバックアップ操作を導入：A ← A − x_j + X_j。これは、全和を再計算するのではなく、単一の後続状態X_jの値のみを更新する。
• 優先順位付けスイープフレームワーク内に小さなバックアップを適用。状態は期待される値の変化の大きさに基づいて優先度付けされる。
• 優先度キューを用いて次に更新する状態を選択し、高い影響を持つ値の変化が最初に伝搬されるようにする。
• 保存された遷移確率と報酬を用いたモデルベースのアプローチを採用。これにより、環境との相互作用なしに値の変化を後退伝播可能となる。
• ステップサイズのハイパーパrameterを調整する必要がなくなるため、小さなバックアップを用いることで、パラメータフリーの手法を実装。
• 未訪問の状態行動ペアに対して、訪問回数M回未満では楽観的な値（例：0）で初期化することで、不確実性への楽観的対応を実現。

実験結果

リサーチクエスチョン

• RQ1 単一の後続状態のみを更新するバックアップ機構が、完全バックアップに比べて計画におけるサンプル効率を向上させられるか？
• RQ2 1バックアップあたりの計算コストを低減することで、より頻繁で的を射た値の更新が可能になり、収束速度が向上するか？
• RQ3 小さなバックアップにより、ステップサイズのチューニングを必要としないパラメータフリーの計画手法を実現でき、TD(0)と同等の性能を発揮できるか？
• RQ4 小さなバックアップを用いた優先順位付けスイープの性能は、古典的実装と比較してサンプル効率と計算時間の両面で優れているか？

主な発見

• 小さなバックアップに基づく優先順位付けスイープ実装は、1ステップあたり1回の更新サイクルでさえも、完全価値反復と同等の性能を達成。両古典的実装を上回った。
• 1ステップあたり1回の更新サイクルで、小さなバックアップ手法は、ステップサイズのチューニングを必要としないにもかかわらず、最適にチューニングされたTD(0)と同等の性能を発揮した。
• 小さなバックアップ手法の1更新サイクルあたりの計算時間は低く、全計算時間はO(P_re)項に支配的であり、スケーラビリティが裏付けられた。
• ペング・アンド・ウィリアムズの手法は、遷移確率に比例するバックアップ（1/15）であるため、影響が限定的で、モア・アンド・アトケソンの手法よりも性能が悪かった。
• 小さなバックアップ手法は、1更新サイクルあたりのバックアップ回数が先行状態数に比例して大幅に増加しており、値の変化の伝搬が速やかに進行した。
• この手法は高いサンプル効率を示し、100回のランで測定された最大標準偏差は0.1にとどまり（ペング・アンド・ウィリアムズを除く1.0を除き）、安定した性能を示した。