[論文レビュー] Replacing Rewards with Examples: Example-Based Policy Search via Recursive Classification

Benjamin Eysenbach, Sergey Levine+1 more|arXiv (Cornell University)|Mar 23, 2021

Reinforcement Learning in Robotics参考文献 41被引用数 4

ひとこと要約

本稿では、成功例の入力を用いて報酬関数の設計を直接学習する強化学習手法である例示ベース制御のための再帰的分類（RCE）を提案する。報酬関数を事前に学習するのではなく、RCEは将来の成功確率を予測する再帰的分類を用い、新しいデータ駆動型ベルマン方程式を満たす。RCEは、画像観測を伴う複雑な操作タスクを含む、先行する模倣学習および報酬学習手法を上回る性能を発揮する。

ABSTRACT

Reinforcement learning (RL) algorithms assume that users specify tasks by manually writing down a reward function. However, this process can be laborious and demands considerable technical expertise. Can we devise RL algorithms that instead enable users to specify tasks simply by providing examples of successful outcomes? In this paper, we derive a control algorithm that maximizes the future probability of these successful outcome examples. Prior work has approached similar problems with a two-stage process, first learning a reward function and then optimizing this reward function using another RL algorithm. In contrast, our method directly learns a value function from transitions and successful outcomes, without learning this intermediate reward function. Our method therefore requires fewer hyperparameters to tune and lines of code to debug. We show that our method satisfies a new data-driven Bellman equation, where examples take the place of the typical reward function term. Experiments show that our approach outperforms prior methods that learn explicit reward functions.

研究の動機と目的

• 報酬関数を手動で設計する作業の負担を軽減し、技術的熟練を要する課題に対処すること。
• ユーザーが数学的報酬関数を定義する代わりに、成功例の提供のみでタスクを指定できるようにすること。
• 中間の報酬関数学習によるバイアスや複雑さを回避する直接的でエンドツーエンドのポリシー学習手法を開発すること。
• 成功例が報酬項に置き換えられる新しいベルマン方程式の理論的基盤を確立すること。
• 画像観測を伴う複雑な操作タスクにおいて、優れた性能を実証すること。

提案手法

• RCEは、中間の報酬関数を学習せずに、遷移データと成功例を用いて将来の成功確率を予測する価値関数を直接学習する。
• 標準の報酬項を成功例シグナルに置き換える新しいデータ駆動型ベルマン方程式を満たす再帰的分類フレームワークを採用する。
• 予測値を[0, 0.5]に制約することで、将来の成功確率比の形式を反映するように、分類器 $ C_{\theta} $ を用いて確率比を推定する。
• ターゲットネットワークを用いた時系列差分学習と、即時の予測とブートストラップされた将来の推定値を組み合わせた損失関数を用いる。
• 成功例の生成プロセスを仮定し、曇りの多い例の収集プロセスに対処するため、二乗ヘルンガー距離を最小化する頑健なバージョンを導入する。
• エンドツーエンドで学習可能であり、画像エンコーダーの微調整を必要とせず、画像ベースのタスクでより優れた性能を発揮するためにランダム重みを用いる。

実験結果

リサーチクエスチョン

• RQ1 報酬関数をユーザーが提供する成功例に置き換えることで、強化学習の利用をより容易にできるか？
• RQ2 報酬関数学習を回避する直接的なポリシー学習手法が、二段階アプローチを上回る性能を発揮できるか？
• RQ3 成功例が報酬項に置き換えられるベルマン方程式の理論的基盤は何か？
• RQ4 異なるゴール位置や物体形状を持つ新しい環境へ一般化できるか？
• RQ5 安定した学習に必要な例の収集に関する仮定は何か？ また、それらをどのように頑健にできるか？

主な発見

• RCEは、最先端の模倣学習手法（AIRL, DAC, SQIL）および報酬学習ベースライン（ORIL, PURL, VICE）を、複雑な操作タスクにおいて上回った。
• Sawyerプッシュ環境では、RCEは平均リターン0.2を達成し、わずか0.07にとどまった修正版C学習の変種を著しく上回った。
• RCEはハンマーをつかみ、ネイルをたたき込むといったタスクを成功に学習したが、これらのタスクはすべてのベースラインが達成できなかった。
• 画像観測を用いた場合、形状やゴール位置が異なる新しい環境に対しても、成功の一般化が頑健に実現された。
• RCEは学習率、割引率、バッチサイズ、重み初期化などのハイパーパrameterの選択に対して頑健であり、微調整の必要が最小限であった。
• 微調整されたエンコーダーよりもランダムな画像エンコーダーを用いることで優れた性能が得られたため、今後の研究における表現学習は別問題である可能性がある。