[論文レビュー] Self-Refined Large Language Model as Automated Reward Function Designer for Deep Reinforcement Learning in Robotics

Jiayang Song, Zhehua Zhou+4 more|arXiv (Cornell University)|Sep 13, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、ロボティクス分野における深層強化学習（DRL）のための報酬関数設計を自動化する自己精錬型大規模言語モデル（LLM）フレームワークを提案する。反復的に報酬関数を生成・評価・精錬することで、RL訓練からのフィードバックを活用し、複数のロボットシステムにおける連続的制御タスクで、手作業で設計されたものと同等またはそれを上回る性能を達成する報酬関数を生成する。

ABSTRACT

Although Deep Reinforcement Learning (DRL) has achieved notable success in numerous robotic applications, designing a high-performing reward function remains a challenging task that often requires substantial manual input. Recently, Large Language Models (LLMs) have been extensively adopted to address tasks demanding in-depth common-sense knowledge, such as reasoning and planning. Recognizing that reward function design is also inherently linked to such knowledge, LLM offers a promising potential in this context. Motivated by this, we propose in this work a novel LLM framework with a self-refinement mechanism for automated reward function design. The framework commences with the LLM formulating an initial reward function based on natural language inputs. Then, the performance of the reward function is assessed, and the results are presented back to the LLM for guiding its self-refinement process. We examine the performance of our proposed framework through a variety of continuous robotic control tasks across three diverse robotic systems. The results indicate that our LLM-designed reward functions are able to rival or even surpass manually designed reward functions, highlighting the efficacy and applicability of our approach.

研究の動機と目的

• ロボティクス分野における深層強化学習のための高パフォーマンスな報酬関数を手作業で設計する課題に対処すること。
• 大規模言語モデル（LLM）が自然言語入力のみを用いて、自律的に効果的な報酬関数を生成できるかどうかを検討すること。
• RL訓練からのフィードバックに基づいて、LLMが生成した報酬関数を自己で精錬するループを構築すること。
• フレームワークを多様な連続的制御ロボットタスクに適用し、人為的に設計された報酬関数と性能を比較すること。
• LLMが生成した報酬関数が最小限の人的介入で、優れたまたは同等のパフォーマンスを達成できることを実証すること。

提案手法

• フレームワークは、自然言語タスク記述と利用可能な状態観測値からLLMが初期の報酬関数を生成することから始まる。
• 生成された報酬関数を用いてDRLエージェントを訓練し、訓練の結果（例：成功確率、報酬トレース）を収集・評価する。
• 評価結果（訓練収束、平均報酬、成功確率、状態のずれなど）をフィードバックとしてLLMにフィードバックする。
• LLMは、思考の流れを用いたプロンプティング戦略を用いて、フィードバックに基づき報酬関数を再設計することで自己精錬を行う。
• 生成・評価・精錬のループを繰り返し、成功確率および報酬安定性で高いパフォーマンスを達成するまで続ける。
• 最終的な報酬関数は、複数のロボットシステム（例：四足歩行ロボット、ドローン、マニピュレータ）における連続的制御タスクで検証される。

実験結果

リサーチクエスチョン

• RQ1 LLMは、自然言語および状態観測記述のみを用いて、ロボット制御タスク用の報酬関数を生成できるか？
• RQ2 複数の反復において、自己精錬ループがLLMが生成した報酬関数の質をどの程度向上させられるか？
• RQ3 LLMが生成した報酬関数は、連続的制御タスクにおいて、手作業で設計されたものと同等またはそれ以上のパフォーマンスを達成できるか？
• RQ4 RL訓練から得られるどのフィードバック信号が、LLMベースの報酬関数精錬を効果的に導くのに最も有用か？
• RQ5 提案されたフレームワークは、異なるロボットプラットフォームやタスクタイプに一般化可能か？

主な発見

• 自己精錬型LLMフレームワークは、四足歩行ロボットに対して、前向き走行タスクで99%の成功確率を達成する報酬関数を正常に生成し、手作業で設計されたものと同等の性能を示した。
• 3回の反復的精錬を経て、LLMが生成した報酬関数は平均エピソード報酬894を達成し、43,000ステップで訓練収束を示した。
• 最終的なLLM設計報酬関数は、線形速度のずれを0.183（正規化済み）にまで低減し、安定的かつ正確な前向き移動を実現した。
• 初期の反復より性能が向上：第2反復では成功確率70%にとどまったが、最終版では目標1（前向き速度）で99%、目標2（転倒防止）で100%を達成した。
• LLMが生成した報酬関数は、転倒防止の観点からも100%の成功確率を達成し、手作業で設計されたベースラインと同等の性能を示した。
• 本手法は、四足歩行、ドローンのホバリング、ロボットアームの操作タスクなど、多様なロボットシステムに一般化可能であることが示された。