[論文レビュー] Multi-Task Reinforcement Learning with Context-based Representations

Shagun Sodhani, Amy Zhang+1 more|arXiv (Cornell University)|Feb 11, 2021

Reinforcement Learning in Robotics参考文献 59被引用数 20

ひとこと要約

本論文では、自然言語記述などのタスクメタデータを文脈として活用し、家族ぐるみのタスク間で合成可能で解釈可能な表現を学習する、マルチタスク強化学習フレームワークCARE（Contextual Attention-based Representation learning）を提案する。文脈に応じて表現選択を条件づけることで、CAREは負の干渉を低減し、メタワールド（Meta-World）—50タスクにわたる困難なロボット操作ベンチマーク—で最先端のパフォーマンスを達成する。

ABSTRACT

The benefit of multi-task learning over single-task learning relies on the ability to use relations across tasks to improve performance on any single task. While sharing representations is an important mechanism to share information across tasks, its success depends on how well the structure underlying the tasks is captured. In some real-world situations, we have access to metadata, or additional information about a task, that may not provide any new insight in the context of a single task setup alone but inform relations across multiple tasks. While this metadata can be useful for improving multi-task learning performance, effectively incorporating it can be an additional challenge. We posit that an efficient approach to knowledge transfer is through the use of multiple context-dependent, composable representations shared across a family of tasks. In this framework, metadata can help to learn interpretable representations and provide the context to inform which representations to compose and how to compose them. We use the proposed approach to obtain state-of-the-art results in Meta-World, a challenging multi-task benchmark consisting of 50 distinct robotic manipulation tasks.

研究の動機と目的

• 微細な文脈依存の知識移譲を可能にすることで、マルチタスク強化学習における負の干渉の課題に取り組むこと。
• 自然言語記述などのタスクメタデータを文脈信号として活用し、表現学習とポリシー合成をガイドすること。
• 動的に文脈に基づいて組み立てられる解釈可能なタスク固有表現を学習する手法を開発すること。
• メタワールドのような複雑で現実世界に近いマルチタスク環境におけるサンプル効率と漸近的パフォーマンスの向上。

提案手法

• 本手法は、タスク固有の文脈（例：自然言語記述）を統合することで、標準的なMDPを拡張するブロック文脈MDP（BC-MDP）フレームワークを導入する。
• 状態空間の複数の分離済み表現を学習するために、タスクおよびオブジェクト固有のエンコーダーの混合を採用する。
• 文脈に適応したアテンション機構が、与えられたタスク文脈に基づいて関連する表現を選択・結合し、動的なポリシー合成を可能にする。
• ポリシーネットワークは選択された表現を用いて行動を出力し、エージェントがタスク文脈に応じて行動を適応可能にする。
• 文脈を表現選択の条件として用いることで、オフポリシー深層強化学習アルゴリズムを用いてエンドツーエンドで訓練する。
• 高水準で非構造的または不完全なメタデータをサポートし、現実応用における柔軟性を実現する。

実験結果

リサーチクエスチョン

• RQ1 タスクメタデータは、マルチタスク強化学習における共有表現の選択と合成を効果的にガイドできるか？
• RQ2 文脈に適応した表現学習は、多様なタスク間で知識を移転する際の負の干渉をどのように低減できるか？
• RQ3 解釈可能なタスク固有エンコーダーの混合は、複雑なマルチタスクベンチマークにおけるサンプル効率と最終パフォーマンスを向上させられるか？
• RQ4 文脈に基づく表現選択は、異なる状態空間と目的を持つタスク間でどの程度一般化可能か？

主な発見

• CAREはメタワールドベンチマークで最先端のパフォーマンスを達成し、サンプル効率および最終タスク成功確率の両面で先行手法を上回る。
• 自然言語記述などの文脈の活用が、マルチタスク学習における一般化性能の向上と負の干渉の低減に顕著に寄与する。
• 学習された表現は解釈可能であり、個々のエンコーダーがオブジェクト種別やスキルコンponentsといった異なる側面に特化している。
• 関連する部分空間にのみ注目することで、異なる状態空間を持つタスク間でも一般化が可能であり、部分観測状態でも効果的な移転が実現される。
• アブレーションスタディにより、文脈に適応した表現選択がパフォーマンスに不可欠であることが確認され、文脈を無視するか適切に活用しないと性能が著しく低下することが示された。