[論文レビュー] Reinforcement Learning without Ground-Truth State

Xingyu Lin, Harjatin Singh Baweja+1 more|arXiv (Cornell University)|May 20, 2019

Reinforcement Learning in Robotics参考文献 4被引用数 9

ひとこと要約

本論文は、真値状態推定を必要とせず、高次元のRGB-D観測から直接ポリシーを学習するゴール条件付き強化学習手法を提案する。正確な観測一致時にのみ作動するインジケータ報酬を用い、ゴール再ラベル付け、報酬バランス調整、報酬フィルタリングを適用することで、真値状態を使用するオラクルと同等の性能を達成し、シミュレーションおよび現実世界におけるロープ押しのような複雑な操作タスクを実現する。

ABSTRACT

To perform robot manipulation tasks, a low-dimensional state of the environment typically needs to be estimated. However, designing a state estimator can sometimes be difficult, especially in environments with deformable objects. An alternative is to learn an end-to-end policy that maps directly from high-dimensional sensor inputs to actions. However, if this policy is trained with reinforcement learning, then without a state estimator, it is hard to specify a reward function based on high-dimensional observations. To meet this challenge, we propose a simple indicator reward function for goal-conditioned reinforcement learning: we only give a positive reward when the robot's observation exactly matches a target goal observation. We show that by relabeling the original goal with the achieved goal to obtain positive rewards (Andrychowicz et al., 2017), we can learn with the indicator reward function even in continuous state spaces. We propose two methods to further speed up convergence with indicator rewards: reward balancing and reward filtering. We show comparable performance between our method and an oracle which uses the ground-truth state for computing rewards. We show that our method can perform complex tasks in continuous state spaces such as rope manipulation from RGB-D images, without knowledge of the ground-truth state.

研究の動機と目的

• 真値状態推定に依存せずにエンドツーエンドの強化学習によるロボット操作を可能にすること。
• 特に変形性物体に対して、高次元観測空間における報酬のスパarsityと報酬設計の難しさに対処すること。
• 追加のセンサーや真値状態を備えたシミュレータを必要とせず、生の観測のみで動作する報酬関数を開発すること。
• インジケータ報酬に再ラベル付けとフィルタリングを組み合わせることで、真値状態を用いたオラクル手法と同等の性能を達成できることを示すこと。

提案手法

• 現在の観測がゴール観測と完全に一致する場合にのみ正の報酬を与えるインジケータ報酬関数を提案する。
• 連続状態空間においても、達成観測に置き換えたゴールを用いてゴール再ラベル付けを実施し、正の報酬を生成する。
• 正の報酬と負の報酬のクラス不均衡を軽減するための報酬バランス調整を導入する。
• 不確実またはノイズの多い負の報酬を抑制することで学習安定性を向上させる報酬フィルタリングを実装する。
• 標準的なオフポリシー手法（DDPG）を用い、ゴール再ラベル付けを組み合わせて学習を実行する。
• 表現学習を一切行わないアプローチを採用する（先行手法とは異なり、オートエンコーダーやVAEを用いた報酬関数のデータからの学習を行わない）。

実験結果

リサーチクエスチョン

• RQ1 真値状態の監視なしに、観測一致に基づくインジケータ報酬関数が、連続状態空間において有効なポリシー学習を可能にするか？
• RQ2 ゴール再ラベル付け、報酬バランス調整、報酬フィルタリングの組み合わせが、報酬スパarsityの環境下でのサンプル効率と収束性をどのように向上させるか？
• RQ3 生のRGB-D観測のみを用いる状況でも、真値状態を用いたオラクルと同等の性能を達成できるか？
• RQ4 変形性物体（例：ロープ）を含む現実世界のロボット操作タスクに一般化可能か？
• RQ5 VAE や DPN などの表現ベース報酬学習手法と比較して、最終的なタスク性能と耐障害性において本手法はどのように差をつけるか？

主な発見

• 提案手法（Indicator+Balance+Filter）は、シミュレーション環境（特にRopePushタスクを含む）において、真値状態を用いたオラクル手法とほぼ同等の性能を達成した。
• RopePush環境においては、オラクルと本手法のみが目的に到達することができたのに対し、表現ベースのベースライン（AE, VAE, DPN）は代理報酬の悪用により失敗した。
• アブレーションスタディの結果、報酬バランス調整とフィルタリングの両方が不可欠であることが判明。両方の除去は性能を著しく低下させた。
• 本手法は現実世界の設定にも一般化可能である：Sawyerロボットを用いた実験で、生のRGB-D画像のみを用いて、オラクルと同等の最終ゴール距離を達成した。
• 理論的分析により、インジケータ報酬下での最適ポリシーは、真値報酬ポリシーに対して有界なサブオプティマルさを示すことが分かった。
• 表現ベース報酬学習ベースラインは、たとえ真値状態入力を用いて学習したとしても、潜在空間における誤った相関関係を悪用する傾向にあり、本手法に劣ることが多かった。