[論文レビュー] How to Leverage Unlabeled Data in Offline Reinforcement Learning

Tianhe Yu, Aviral Kumar+4 more|arXiv (Cornell University)|Feb 3, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、ラベルなし遷移に対してオフライン強化学習におけるゼロ報酬を割り当てる単純だが効果的な手法、Unlabeled Data Sharing (UDS) を提案する。報酬モデルの学習を必要とせず、サンプル効率と性能を著しく向上させる。驚くべきことに、このアプローチはロボットの歩行、ナビゲーション、操作タスクにおいて、複雑な報酬学習ベースラインを上回る。特に、分布シフトと報酬バイアスを軽減する再重み付けを組み合わせた場合に顕著である。

ABSTRACT

Offline reinforcement learning (RL) can learn control policies from static datasets but, like standard RL methods, it requires reward annotations for every transition. In many cases, labeling large datasets with rewards may be costly, especially if those rewards must be provided by human labelers, while collecting diverse unlabeled data might be comparatively inexpensive. How can we best leverage such unlabeled data in offline RL? One natural solution is to learn a reward function from the labeled data and use it to label the unlabeled data. In this paper, we find that, perhaps surprisingly, a much simpler method that simply applies zero rewards to unlabeled data leads to effective data sharing both in theory and in practice, without learning any reward model at all. While this approach might seem strange (and incorrect) at first, we provide extensive theoretical and empirical analysis that illustrates how it trades off reward bias, sample complexity and distributional shift, often leading to good results. We characterize conditions under which this simple strategy is effective, and further show that extending it with a simple reweighting approach can further alleviate the bias introduced by using incorrect reward labels. Our empirical evaluation confirms these findings in simulated robotic locomotion, navigation, and manipulation settings.

研究の動機と目的

• ラベル付き報酬が少なく、取得にコストがかかるタスク固有の報酬が得られるラベル付きデータが限られる状況において、安価で大量のラベルなしオフラインデータを有効に活用する課題に対処すること。
• 具体的には、ラベルなしデータにゼロ報酬を割り当てるという単純な報酬再ラベル戦略が、報酬モデルの学習を伴わずに有効であるかどうかを調査すること。
• ゼロ報酬再ラベルが成功または失敗する条件を分析し、分布再重み付けを用いて生じる報酬バイアスを軽減すること。
• 複数のオフラインRL環境において、学習された報酬モデルや複雑なデータ共有戦略を用いる最先端手法と比較して、UDSの性能を評価すること。

提案手法

• すべてのラベルなし遷移に一定のゼロ報酬を割り当て、オフラインデータセット内の非報酬的経験として扱う。
• 分布シフトを軽減するため、保守的データ共有（CDS）再重み付けを用いてラベルなし遷移の分布的影響を調整する。
• ラベル付きデータの分布から離れたラベルなし遷移を低重み化する再重み付けスキームを採用し、ポリシーの一般化を向上させる。
• 真の報酬が付与されたラベル付き遷移とゼロ報酬が付与されたラベルなし遷移を統合したデータセット上で、標準的なオフラインRLアルゴリズム（例：SAC、TD3）を適用する。
• 既存のオフラインRLフレームワークを活用し、下位のアルゴリズムを変更せずにポリシーを訓練可能にし、プラグアンドプレイ統合を実現する。
• AntMaze、Meta-World、視覚ベースのロボット操作タスクを含む複数の環境で、手法の実証的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 オフラインRLにおけるラベルなしデータにゼロ報酬を割り当てることで、報酬モデルの学習による再ラベル戦略よりも優れた性能が得られるか？
• RQ2 ゼロ報酬再ラベルが失敗する条件は何か？ その成功・失敗要因は何か？
• RQ3 ラベルなし遷移の再重み付けによって、誤ったゼロ報酬によって生じるバイアスを軽減し、一般化性能を向上させられるか？
• RQ4 マルチタスクおよびシングルタスクのオフラインRL設定において、UDSは最先端のデータ共有および報酬学習手法と比較してどのように性能を発揮するか？

主な発見

• UDSは、ラベルなしデータにゼロ報酬を割り当てるが、シミュレーテッドロボットの歩行および操作タスクにおいて、複雑な報酬学習ベースラインと同等または優れた性能を達成する。
• この手法により、高コストな人為的ラベル付き報酬の必要性を著しく低減し、オフラインRLにおけるサンプル効率を維持または向上させる。
• 保守的データ共有（CDS）を用いたラベルなし遷移の再重み付けは、分布シフトと報酬バイアスを著しく軽減し、性能を大幅に向上させる。
• 実証的結果から、UDSはAntMazeナビゲーションおよびMeta-Worldマルチタスク環境において、最小限の監視で既存手法を上回ることを示している。
• 視覚ベースのロボット操作タスクや連続的制御タスクを含む多様なドメインにおいても、本手法は頑健であり、広範な適用可能性を示している。
• 理論的分析により、特定の条件下ではUDSが報酬バイアス、サンプル複雑性、分布シフトのトレードオフを有利に扱うことが確認された。