[論文レビュー] Semi-supervised reward learning for offline reinforcement learning

Ksenia Konyushkova, Konrad Żołna+5 more|arXiv (Cornell University)|Dec 12, 2020

Reinforcement Learning in Robotics参考文献 39被引用数 7

ひとこと要約

この論文では、限られた人間のアノテーション（エピソードレベルのデモまたは疎なタイムステップレベルの報酬）とラベルなしデータを組み合わせることで、有効な方策を学習するための、オフライン強化学習における半教師付き報酬学習手法を提案する。自己教師学習、反復的改善、マルチインスタンス学習を統合することで、最小限の監視のもとでも真値報酬に近い性能を達成でき、オフラインRLが不完全な報酬モデルに対しても頑健であることを示している。

ABSTRACT

In offline reinforcement learning (RL) agents are trained using a logged dataset. It appears to be the most natural route to attack real-life applications because in domains such as healthcare and robotics interactions with the environment are either expensive or unethical. Training agents usually requires reward functions, but unfortunately, rewards are seldom available in practice and their engineering is challenging and laborious. To overcome this, we investigate reward learning under the constraint of minimizing human reward annotations. We consider two types of supervision: timestep annotations and demonstrations. We propose semi-supervised learning algorithms that learn from limited annotations and incorporate unlabelled data. In our experiments with a simulated robotic arm, we greatly improve upon behavioural cloning and closely approach the performance achieved with ground truth rewards. We further investigate the relationship between the quality of the reward model and the final policies. We notice, for example, that the reward models do not need to be perfect to result in useful policies.

研究の動機と目的

• 現実世界のオフライン強化学習応用において、報酬信号が疎または存在しないという課題に対処すること。
• 限られた人間のアノテーションに加えて大量のラベルなしデータを活用することで、報酬学習のサンプル効率を向上させること。
• オフラインRLにおける報酬モデルの品質と下流方策のパフォーマンスの関係を調査すること。
• エピソードレベルとタイムステップレベルの監視を効果的に統合する半教師付きアルゴリズムを開発すること。
• オフラインRLが不完全な報酬モデルに対しても頑健であることを示し、高品質な報酬アノテーションへの依存を低減すること。

提案手法

• 限られた人間によるアノテーションデータ（タイムステップまたはエピソードレベル）とラベルなしの軌道を組み合わせて報酬モデルを学習する半教師付き学習フレームワークを提案する。
• 報酬モデルの予測を用いて自身のラベル推定を改善する時間構造モデル（TGR-i）を用いた反復的改善を実装する。
• 成功したデモの時間的構造からタイムステップごとの報酬を推定することで、粗いエピソードレベルのアノテーションを処理するマルチインスタンス学習の原則を採用する。
• 自己学習およびコ・トレーニングに類似した戦略を用い、モデルの予測結果を偽ラベルとして活用し、同じまたは関連するモデルの改善を図る。
• 分類の不均衡を考慮した損失関数を最適化するため、マルチヘッド分類ヘッドを報酬予測に導入し、精度、Fスコア、AUC-PRの指標を用いる。
• 複数の指標での検証スコアに基づいて報酬モデルを選別し、それらをオフラインRLにおける方策学習の指針とする。

実験結果

リサーチクエスチョン

• RQ1 タイムステップレベルの報酬アノテーションが一切ない状態で、エピソードレベルのデモのみを用いてオフライン強化学習の方策を効果的に学習できるか？
• RQ2 半教師付き報酬モデルの品質と、オフラインRLにおけるその結果得られる方策のパフォーマンスの相関関係はいかほどか？
• RQ3 不完全またはノイズの混入した報酬モデルで学習されたオフラインRLアルゴリズムは、どの程度一般化可能か？
• RQ4 初期の監視が疎であっても、報酬予測の反復的改善が方策パフォーマンスの向上に寄与するか？
• RQ5 報酬モデルの評価指標（例：精度、Fスコア、AUC-PR）の中で、下流方策パフォーマンスを最もよく予測するのはどれか？

主な発見

• 提案された半教師付き報酬学習アプローチは、人間による監視が最小限であっても、真値報酬で学習した場合に近い方策パフォーマンスを達成する。
• エピソードレベルのデモのみを用いて学習した方策は、行動クラーニングを上回り、真値ベースラインに非常に近いパフォーマンスを示す。
• 高い精度、Fスコア、AUC-PRスコアを示す報酬モデルは、一貫して良い方策リターンと相関しており、ただし1つの指標が方策パフォーマンスを完璧に予測するわけではない。
• 分類スコアが低い報酬モデルでも、方策学習に有用な信号を提供できることが示され、オフラインRLがノイズ混入または不完全な報酬関数に対しても頑健であることを示している。
• 報酬モデルの反復的改善により、方策リターンの分散が低減され、学習の安定性が向上し、モデル選択が容易になる。
• ラベルなしデータと疎なアノテーションを組み合わせ、特に時間的構造を活用することで、高価なタイムステップレベルの報酬アノテーションの必要性を顕著に低減できることが示された。