[論文レビュー] Human-guided Robot Behavior Learning: A GAN-assisted Preference-based Reinforcement Learning Approach

Huixin Zhan, Tao Feng+1 more|arXiv (Cornell University)|Oct 15, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 4

ひとこと要約

この論文では、人間の好みを模倣する低次元の敵対的ネットワークを訓練することで、人間のフィードバックを大幅に削減するGAN支援型の好みベース強化学習フレームワークを提案する。これにより、従来手法に比べて必要な人間のクエリ数がわずか0.2%にまで減少し、性能を維持したまま効率的なポリシー学習が可能になる。MuJoCoの歩行タスクにおいて、人間によるラベル付け時間は最大99.8%削減された。

ABSTRACT

Human demonstrations can provide trustful samples to train reinforcement learning algorithms for robots to learn complex behaviors in real-world environments. However, obtaining sufficient demonstrations may be impractical because many behaviors are difficult for humans to demonstrate. A more practical approach is to replace human demonstrations by human queries, i.e., preference-based reinforcement learning. One key limitation of the existing algorithms is the need for a significant amount of human queries because a large number of labeled data is needed to train neural networks for the approximation of a continuous, high-dimensional reward function. To reduce and minimize the need for human queries, we propose a new GAN-assisted human preference-based reinforcement learning approach that uses a generative adversarial network (GAN) to actively learn human preferences and then replace the role of human in assigning preferences. The adversarial neural network is simple and only has a binary output, hence requiring much less human queries to train. Moreover, a maximum entropy based reinforcement learning algorithm is designed to shape the loss towards the desired regions or away from the undesired regions. To show the effectiveness of the proposed approach, we present some studies on complex robotic tasks without access to the environment reward in a typical MuJoCo robot locomotion environment. The obtained results show our method can achieve a reduction of about 99.8% human time without performance sacrifice.

研究の動機と目的

• ロボット制御における好みベース強化学習における高い人間フィードバックコストを解消すること。
• 人間の示す多数のデモや繰り返しのクエリに依存することなく、人間の好みをより効率的に学習すること。
• 最小限の人的入力で正確に人間の好み意思決定をモデル化できる低次元の生成的敵対的ネットワーク（GAN）を設計すること。
• 人間の好みラベリングを報酬関数学習から分離し、同じクエリを複数の目的に再利用可能にする。
• 真の報酬関数が入手不可であっても、高性能なロボットポリシー学習を達成すること。

提案手法

• 小規模な人間提供の軌道ペア間の好み比較に基づいて、二値出力のGANを訓練する。
• 訓練されたGANが、以降の好みラベリングにおいて人間のフィードバックを置き換え、人的関与を著しく削減する。
• 最大エントロピー強化学習アルゴリズムが、GANによって特定された好ましい行動に向かってポリシーを形状づける。
• 人間のクエリは、GANの初期訓練および疎な間隔でのファインチューニングにのみ使用され、相互作用を最小限に抑える。
• GANは、GANテスト指標を用いて評価され、新しい合成軌道ペアへの一般化能力が測定される。
• フレームワークは、好みモデリング（GANを介して）とポリシー学習を分離しており、効率的かつスケーラブルなフィードバック利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低次元のGANは、最小限の人的クエリでロボット行動学習における人間の好みを効果的にモデル化できるか？
• RQ2 性能劣化を伴わずに、GANが好みベース強化学習における人間のフィードバックをどの程度置き換えられるか？
• RQ3 提案手法は、ベースラインの好みベースRLと比較して、人間フィードバックの効率性においてどの程度優れているか？
• RQ4 GANは未観測の軌道ペアに対しても十分に一般化できるか、すなわち学習済み好みの一般化能力が強いと示せるか？
• RQ5 ポリシー学習の高パフォーマンスを維持するために必要な最小限の人的クエリ頻度はどの程度か？

主な発見

• 提案手法は、ベースライン手法と比較して人間フィードバックを約99.8%削減し、ほぼ同一のパフォーマンスを達成した。
• 従来手法に比べて必要な人間クエリはわずか0.2%にまで減少し、[9]のベースラインと比較して84%の削減が達成された。
• GANテスト指標は、高い安定性（例：一部のケースで0.95以上）を示しており、学習済み好みの強力な一般化能力を示している。
• 訓練エピソードの1–2%（例：182エピソード中77または90番目）でのGANのファインチューニングでも高い正確性が維持されており、人的入力が最小限で十分であることが示された。
• GAN支援型アプローチは、真の報酬関数が存在しない状況でも、実際の報酬関数を用いた標準的なRLと同等のパフォーマンスを達成しており、好みベースの模倣における有効性が裏付けられた。
• 真の報酬関数が入手不可であっても、人間の好みとGAN生成ラベルにのみ依存して、効果的なポリシー学習が可能であることを示した。