[論文レビュー] Multi-Task Policy Search

Marc Peter Deisenroth, Péter Englert+2 more|arXiv (Cornell University)|Jul 2, 2013

Reinforcement Learning in Robotics参考文献 30被引用数 3

ひとこと要約

本論文は、状態とタスクの両方をパrameterとして持つ非線形フィードバックポリシーを学習するマルチタスクポリシーサーチフレームワークを提案する。このフレームワークにより、ロボティクス分野における連続的なタスク変化において、データ効率的かつ一般化可能な制御が可能となる。PILCOフレームワーク内にタスク情報を直接統合することで、再訓練を伴わず、未学習のタスクに対しても効果的な転移と一般化が達成され、強化学習および模倣学習の両方において、実ロボット実験で成功裏に実証された。

ABSTRACT

Learning policies that generalize across multiple tasks is an important and challenging research topic in reinforcement learning and robotics. Training individual policies for every single potential task is often impractical, especially for continuous task variations, requiring more principled approaches to share and transfer knowledge among similar tasks. We present a novel approach for learning a nonlinear feedback policy that generalizes across multiple tasks. The key idea is to define a parametrized policy as a function of both the state and the task, which allows learning a single policy that generalizes across multiple known and unknown tasks. Applications of our novel approach to reinforcement and imitation learning in real-robot experiments are shown.

研究の動機と目的

• ロボティクス分野において、関連する連続的なタスクの集合に一般化するポリシーを学習する課題に対処すること。
• タスク固有のポリシーへの依存を減らし、物理的相互作用のコストを低減するために、タスク間での知識転送を可能にすること。
• 再訓練なしに未学習のタスクに一般化できるデータ効率的な学習アプローチを開発すること。
• タスク情報をポリシーのパrameter化に直接統合することで、一般化性能を向上させること。
• 実ロボットシステムにおけるマルチタスク強化学習および模倣学習に、ポリシーサーチを拡張すること。

提案手法

• ポリシーは u = π(x, η, θ) としてパrameter化され、x は状態、η はタスク、θ はポリシーのパラメータを表し、複数のタスクにわたる統合的学習を可能にする。
• 本手法は、正確でデータ効率的な長期予測を実現するため、ガウス過程モデルを用いるPILCOフレームワークを採用する。
• ポリシーのパラメータは確率的最適化により最適化され、複数のタスクにわたる期待される長期コストを最小化する。
• タスク表現 η はポリシーへの入力として明示的にモデル化されており、関連するが未学習のタスクへの一般化を可能にする。
• 模倣学習では、専門家の軌道とポリシーが生成する軌道の間のKLダイバージェンスを最小化する。タスク固有の行動は η に統合される。
• ポリシーのパラメータとタスクに依存するダイナミクスモデルを同時に最適化することで、強化学習および模倣学習の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、連続的な関連するタスクの集合にわたって、1つの非線形ポリシーが一般化可能かどうか。
• RQ2 タスク情報をどのようにポリシーに効果的に統合することで、未学習のタスクへの一般化性能を向上させられるか。
• RQ3 マルチタスクポリシーサーチが、モデル不確実性を考慮しつつ、モデルベース強化学習と同等のデータ効率性を達成できるか。
• RQ4 タスク拡張ポリシーを用いることで、示されたタスクを超えた模倣学習の一般化はどの程度可能か。
• RQ5 本手法は、階層的または局所的ポリシーの組み合わせアプローチと比較して、一般化性能および柔軟性においてどの程度優れているか。

主な発見

• 提案手法は、BioRob X4 ロボットを用いた2次元平面における未学習の打ち込みタスクに、1つのポリシーを成功裏に一般化した。テスト位置の7×5グリッドにおいて、誤差は0.08 m以内に収束した。
• カートポール実験では、ターゲット位置の連続的変化に伴うタスク間で、ポリシーが滑らかに一般化され、線形結合を超える非線形一般化を示した。
• ブロックスターリング実験では、6種類の異なるブロックに対して平均的にターゲットまでの距離が0.1 m以内に収まり、実世界の操作タスクにおける耐障害性と一般化性能を示した。
• タスク固有の再トレーニングの必要性が低減され、未学習のタスクに対しても即時のポリシー展開が可能になった。
• カートポールのような非線形タスクでは、局所的ポリシーの線形結合手法が非線形性のため失敗するのに対し、本手法はその欠陥を克服した。
• PILCOにタスクに依存するポリシーを統合することで、模倣学習においてもわずか約20分の計算時間でデータ効率的な学習が実現された。