[論文レビュー] Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks

Yuqian Jiang, Suda Bharadwaj+4 more|arXiv (Cornell University)|Jul 3, 2020

Reinforcement Learning in Robotics参考文献 24被引用数 8

ひとこと要約

本論文は、平均報酬強化学習における報酬形状のための最初の理論的枠組みを導入し、時間論理式を用いてドメイン知識を符号化可能にする。この式は自動的に形状関数に変換される。本手法は最適方策の回復を保証するとともに、継続的タスクにおける学習を加速し、報酬形状なしおよびシールドベースのベースラインと比較して、サンプル効率性と不正確な知識に対するロバスト性で優れている。

ABSTRACT

In continuing tasks, average-reward reinforcement learning may be a more appropriate problem formulation than the more common discounted reward formulation. As usual, learning an optimal policy in this setting typically requires a large amount of training experiences. Reward shaping is a common approach for incorporating domain knowledge into reinforcement learning in order to speed up convergence to an optimal policy. However, to the best of our knowledge, the theoretical properties of reward shaping have thus far only been established in the discounted setting. This paper presents the first reward shaping framework for average-reward learning and proves that, under standard assumptions, the optimal policy under the original reward function can be recovered. In order to avoid the need for manual construction of the shaping function, we introduce a method for utilizing domain knowledge expressed as a temporal logic formula. The formula is automatically translated to a shaping function that provides additional reward throughout the learning process. We evaluate the proposed method on three continuing tasks. In all cases, shaping speeds up the average-reward learning rate without any reduction in the performance of the learned policy compared to relevant baselines.

研究の動機と目的

• 継続的タスクに適している割引報酬よりも適した平均報酬強化学習における理論的報酬形状フレームワークの欠如に対処すること。
• 直感的な時間論理式によるドメイン知識の指定を可能にすることで、手動によるポテンシャル関数の設計の必要性を排除すること。
• 提供された知識が不正確であっても、元の報酬における最適方策が形状の下でも保持されることを保証すること。
• 特に報酬がスパarsityまたは遅延するタスクにおいて、性能を維持しながら学習のサンプル効率性を向上させること。

提案手法

• 報酬形状をポテンシャルに基づく関数 F(s, a, s′) = Φ(s′, a∗) − Φ(s, a) として定式化し、a∗ は次の状態における最適Q値を最大化する行動である。
• 最適方策の平均報酬が形状後も変わらないことを示すことで、元の平均報酬MDPにおける最適方策が形状後も保持されることを証明する。
• ドメイン知識は線形時間論理（LTL）式として表現され、元の報酬の大きさを知らなくても形状関数に自動的に変換される。
• LTL式を表す決定的有限オートマトン（DFA）と組み合わせたプロダクトMDP構築を用いて、安全制約のほぼ確実に勝てる領域を計算する。
• 形状関数は最適Q値と状態行動ポテンシャル関数から導出され、変更されたMDPが同じ最適方策を維持することを保証する。
• 本手法は、3つの継続的タスク（領域スイーピング、カートポール制御、グリッドワールド移動計画）において微分Q学習を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 報酬形状が平均報酬強化学習設定において理論的に正当化可能か。過去の研究は割引報酬に限定されている。
• RQ2 時間論理式から自動合成された形状関数が、平均報酬MDPにおける最適方策を保持するか。
• RQ3 継続的タスクにおいて、本手法は報酬形状なしおよびシールドベースのベースラインと比較して、サンプル効率性とロバスト性で優れているか。
• RQ4 提供されたドメイン知識が不正確であっても、本手法は最適方策を学習できるか。これは、厳密な制約強制を行うシールドとは対照的である。

主な発見

• 提案された報酬形状フレームワークは、最適方策の平均報酬が形状後も変わらないことを示すことで、元の平均報酬目的における最適方策を保持することが保証された。
• 継続的領域スイーピング、カートポール制御、グリッドワールド移動計画の3つの評価タスクにおいて、報酬形状なしの微分Q学習と比較して、本手法はより速い学習収束を達成した。
• 提供されたドメイン知識が不正確であった場合でも、本手法は最適方策を学習し、ベースラインの微分Q学習を上回ったが、シールドは誤った制約を厳密に強制したため最適方策を学習できなかった。
• 本手法は優れたサンプル効率性を示し、特に報酬がスパarsityな環境において、高いパフォーマンスに到達するまでの相互作用回数を削減した。
• 時間論理式から形状関数への自動変換により、ポテンシャル関数の手動チューニングの必要性が排除され、元の報酬の大きさに依存しなくなった。
• 本フレームワークは、ドメイン知識の指定（LTLを用いて）と学習アルゴリズムの分離に成功し、非専門家が効果的に探索を誘導できるようになった。