[論文レビュー] Weakly-Supervised Reinforcement Learning for Controllable Behavior

Lisa Lee, Benjamin Eysenbach+3 more|arXiv (Cornell University)|Apr 6, 2020

Reinforcement Learning in Robotics参考文献 83被引用数 5

ひとこと要約

本論文は、視覚ベースの連続的制御タスクにおいて、ペairワイズ人間の好みクエリを用いて、分離可能で意味的に明確な表現空間を学習するフレームワークである弱教師付き制御（WSC）を提案する。探索とゴール生成を関連する変動要因に制約することで、WSCは強化学習の高速化と一般化の向上を実現し、特に複雑な環境において自己教師ありベースラインを上回る性能を発揮する。

ABSTRACT

Reinforcement learning (RL) is a powerful framework for learning to take actions to solve tasks. However, in many settings, an agent must winnow down the inconceivably large space of all possible tasks to the single task that it is currently being asked to solve. Can we instead constrain the space of tasks to those that are semantically meaningful? In this work, we introduce a framework for using weak supervision to automatically disentangle this semantically meaningful subspace of tasks from the enormous space of nonsensical "chaff" tasks. We show that this learned subspace enables efficient exploration and provides a representation that captures distance between states. On a variety of challenging, vision-based continuous control problems, our approach leads to substantial performance gains, particularly as the complexity of the environment grows.

研究の動機と目的

• 複雑な環境における強化学習のための報酬関数の手動設計や専門家のデモンストレーション収集の負担を軽減すること。
• 環境の意味的に明確な変動要因を特定・焦点化することで、ゴール条件付きポリシーの効率的学習を可能にすること。
• 安価でスケーラブルな方法として、弱教師付き学習（特にペアワイズ人間の好みクエリ）を用いて、RLエージェントにインダクティブバイアスを注入すること。
• 変動要因を制御可能な形で捉える分離可能な潜在空間を学習することで、視覚ベースの連続的制御タスクにおけるサンプル効率性と一般化性能を向上させること。
• 潜在ゴールをユーザー指定の意味的意味のある次元と一致させることで、解釈可能で人間が制御可能なポリシーを提供すること。

提案手法

• 本手法は、ペアワイズ比較クエリ（例：「どの画像がドアをより大きく開けているか？」）からのオフラインで弱教師付きラベルが付与されたデータを用いて、分離可能な表現モデルを学習する。
• 意味的に明確な変動要因が分離可能で制御可能である潜在空間を学習するために、コントラスト学習の目的関数を適用する。
• 分離可能な表現を用いて、状態とゴール間の距離尺度を定義し、構造的探索を可能にするゴール条件付き強化学習を実現する。
• 事前学習（表現学習）とRLのファインチューニングを分離することで、意味的変動軸に沿ったゴールの生成を可能にする。
• 観測値を潜在空間にマップするVAEベースのエンコーダを用い、報酬は分離可能な潜在空間におけるL2距離として計算する。
• 探索は分離可能な潜在空間に従って制御され、人間が指定したタスクに関連する次元に焦点を当て、関係のない次元は無視する。

実験結果

リサーチクエスチョン

• RQ1 高次元の視覚的環境において、ペアワイズ人間の好み比較による弱教師付き学習が、意味的に明確な変動要因の同定に効果的に機能するか？
• RQ2 弱教師付き学習から得た分離可能な表現が、ゴール条件付き強化学習におけるサンプル効率性と一般化性能を向上させるか？
• RQ3 複雑な視覚ベースの制御タスクにおいて、WSCは自己教師ありまたは無教師表現学習と比較してどのように異なるか？
• RQ4 分離可能な潜在空間を用いて、明確なゴールを生成し、明示的な報酬設計なしに指向性のある探索を可能にするか？
• RQ5 弱教師付き学習に誤った要因や誤って指定された要因が含まれる場合、本手法はどの程度頑健性を保つのか？

主な発見

• WSCは、複雑な視覚ベースの連続的制御タスクにおいて、自己教師ありベースライン手法よりも学習効率と最終的なパフォーマンスで顕著に優れている。
• 弱教師付き学習で得た分離可能な表現により、多様なゴール分布にわたる収束速度の向上と一般化性能の向上が達成された。
• 環境の複雑さが増すほど、意味的変動要因に沿った焦点化された探索のおかげで、顕著なパフォーマンス向上が得られた。
• WSCを用いて学習された潜在ポリシーは解釈可能であり、潜在ゴールが物体の位置や照明といった制御可能な環境的属性と直接対応している。
• 専門家が提供する報酬関数やデモンストレーションの必要性が低減され、収集が容易なペアワイズ好みデータに依存するようになった。
• 実験的結果から、分離可能であることが弱教師付き学習を有効に活用する上で不可欠であり、単に弱教師付きデータを受動的に利用するのとは異なることが示された。