[論文レビュー] Off-Policy Reward Shaping with Ensembles

Anna Harutyunyan, Tim Brys+2 more|arXiv (Cornell University)|Feb 11, 2015

Reinforcement Learning in Robotics参考文献 31被引用数 4

ひとこと要約

本稿では、複数のヒューリスティクスとスケーリング要因で訓練されたポリシーのアンサンブルを用いたオフポリシー報酬形状化フレームワークを提案する。Hordeアーキテクチャを活用することで、効率的なオフポリシー学習が可能になる。アンサンブルは個々の形状化済みポリシーおよび最適にチューニングされたコンponentsを上回り、最良のパフォーマンスを示すポリシーを動的に投票で選択することで、ヒューリスティクスおよびスケールの手動チューニングの必要性を排除しながら、収束保証を維持し、サンプル効率を向上させる。

ABSTRACT

Potential-based reward shaping (PBRS) is an effective and popular technique to speed up reinforcement learning by leveraging domain knowledge. While PBRS is proven to always preserve optimal policies, its effect on learning speed is determined by the quality of its potential function, which, in turn, depends on both the underlying heuristic and the scale. Knowing which heuristic will prove effective requires testing the options beforehand, and determining the appropriate scale requires tuning, both of which introduce additional sample complexity. We formulate a PBRS framework that reduces learning speed, but does not incur extra sample complexity. For this, we propose to simultaneously learn an ensemble of policies, shaped w.r.t. many heuristics and on a range of scales. The target policy is then obtained by voting. The ensemble needs to be able to efficiently and reliably learn off-policy: requirements fulfilled by the recent Horde architecture, which we take as our basis. We demonstrate empirically that (1) our ensemble policy outperforms both the base policy, and its single-heuristic components, and (2) an ensemble over a general range of scales performs at least as well as one with optimally tuned components.

研究の動機と目的

• ポテンシャルベース報酬形状化（PBRS）におけるヒューリスティクス選択とスケーリングのチューニングによって引き起こされる高いサンプル複雑性に対処すること。
• 探索を制御できない潜在的オフポリシー設定において、効果的な報酬形状化を可能にすること。
• それらの有効性や最適スケールについて事前の知識がなくても、複数のヒューリスティクスを用いてドメイン知識を活用するフレームワークを開発すること。
• Hordeアーキテクチャのオフポリシー学習の保証に基づき、収束性と計算効率を保証すること。
• アンサンブル投票が、個々の形状化済みポリシーおよび最適にチューニングされたコンponentsを上回ることを実証すること。

提案手法

• 同じ経験データを用いて、異なるヒューリスティクスおよびスケーリング要因から導出された異なるポテンシャル関数で形状化された、複数のポリシーのアンサンブルを訓練する。
• 収束を固定された行動ポリシー下で保証するため、下位のオフポリシー学習エンジンとしてHordeアーキテクチャを採用する。
• アンサンブルメンバーを1つのターゲットポリシーに統合するために、集団のパフォーマンスに基づいて行動を選択する投票メカニズムを適用する。
• 計算オーバーヘッドを低減しつつ、効率的なオフポリシー学習を可能にするために、デモンズ間で共有パラメータセットを維持する。
• ハイパーパramータチューニングの必要性を排除するために、スケーリング要因の広範な範囲（1から10⁴まで）で性能を評価する。
• ベンチマーク環境における統計的信頼性を確保するため、100回の独立実験において、50エピソードごとに評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 多様なヒューリスティクスとスケーリング要因で形状化されたポリシーのアンサンブルは、追加のサンプル複雑性を伴わずに、単一の形状化済みポリシーを上回ることができるか？
• RQ2 行動ポリシーが固定された潜在的オフポリシー設定において、アンサンブルフレームワークは収束保証を維持するか？
• RQ3 事前のチューニングなしに、アンサンブルは最も効果的なヒューリスティクスおよびスケールを動的に特定し、追従できるか？
• RQ4 広範なスケール範囲を用いた場合と、最適にチューニングされたコンポーネントのセットを用いた場合とで、性能にどのような差が生じるか？
• RQ5 複数の形状化済みポリシー間での投票は、最良の単一コンポーネントに依存する場合と比較して、学習速度を向上させるか？

主な発見

• グローバルアンサンブル $E_C$ は、ベースラーナーおよびすべての個々の形状化コンポーネントを上回り、複数のヒューリスティクスとスケールを組み合わせることの有効性を示した。
• アンサンブルのパフォーマンスは、最良の単一ヒューリスティクスアンサンブル $E^1_C$ と一致しており、最も効果的なヒューリスティクスを正しく同定・活用したことを示した。
• 広範なスケール範囲を用いたアンサンブルは、最適にチューニングされたコンポーネントを用いたものと同等以上にパフォーマンスを発揮し、事前のハイパーパramータチューニングの必要性を排除した。
• $E_C$ のパフォーマンスは長期的にはより効果的な最初の形状化（$ heta_1$）に従ったことから、投票メカニズムが優れたヒューリスティクスを正しく優先していることが示された。
• アンサンブルは常にそのコンポーネントの平均パフォーマンスを上回り、集団的意思決定が個々の貢献を上回る学習を強化していることが示された。
• このフレームワークは、失敗コストの高い実世界の応用においても、効果的なPBRSを実現できたことが検証された。