[論文レビュー] Learning Trajectory Preferences for Manipulators via Iterative Improvement

Ashesh Jain, Brian Wojcik+2 more|arXiv (Cornell University)|Jun 26, 2013

Machine Learning and Algorithms参考文献 49被引用数 57

ひとこと要約

本論文は、ロボットが最適な動作軌道の完全な模倣を提供するのではなく、現在の軌道に対してわずかな改善を提案する弱いフィードバックを繰り返し受けることで、ユーザーの操作軌道に対する好みを学習できる共同的オンライン学習フレームワークを提案する。弱いフィードバックしか必要としないにもかかわらず、理論的に低いレグレットを達成し、自由度の高いマニピュレータが対象とする未確認のスーパーングローリストックタスクにおいても良好な一般化性能を示す。

ABSTRACT

We consider the problem of learning good trajectories for manipulation tasks. This is challenging because the criterion defining a good trajectory varies with users, tasks and environments. In this paper, we propose a co-active online learning framework for teaching robots the preferences of its users for object manipulation tasks. The key novelty of our approach lies in the type of feedback expected from the user: the human user does not need to demonstrate optimal trajectories as training data, but merely needs to iteratively provide trajectories that slightly improve over the trajectory currently proposed by the system. We argue that this co-active preference feedback can be more easily elicited from the user than demonstrations of optimal trajectories, which are often challenging and non-intuitive to provide on high degrees of freedom manipulators. Nevertheless, theoretical regret bounds of our algorithm match the asymptotic rates of optimal trajectory algorithms. We demonstrate the generalizability of our algorithm on a variety of grocery checkout tasks, for whom, the preferences were not only influenced by the object being manipulated but also by the surrounding environment.\footnote{For more details and a demonstration video, visit: \url{http://pr.cs.cornell.edu/coactive}}

研究の動機と目的

• 最適な模倣が得にくい高自由度マニピュレータタスクにおいて、ユーザー固有の軌道好みを学ぶ課題に対処すること。
• 完全な最適軌道の模倣を必要としない代替手段として、従来の模倣学習（LfD）の限界を克服し、ユーザーの負担を減らすために段階的フィードバックを採用すること。
• ロボットが弱い、最適でないフィードバックのみを用いて、リアルタイムにユーザーの好みを学習できる共同学習フレームワークを開発すること。
• 最適な軌道アルゴリズムと同等のレグレットバウンドを導出することで、学習性能に理論的保証を付与すること。
• 訓練中に実際にそのタスクを見たことがない状況においても、学習済みの好みが新しいタスクや環境に一般化できるかを検証すること。

提案手法

• ロボットが軌道を提示し、ユーザーがそのわずかな改善版をフィードバックする共同学習フレームワークを採用する。最適な軌道ではなく、わずかな改善を提供する。
• ロボットの状態、物体同士の関係、時間的挙動（例：ジャーブ、姿勢安定性）を含む構造的特徴空間を用いてユーザーの好みをモデル化する。
• 反復的フィードバックに基づき、オンラインでモデルを更新する、好み学習アルゴリズム（TPP）を適用する。
• エンドエフェクタの安定性、障害物への接近度、壊れやすい物や鋭い物の回避など、タスク固有で文脈に依存する特徴を用いて、ユーザーの好みを捉える。
• 再ランク付け（シミュレータ経由）とゼロGキネスティックティーチング（ロボット上）の2つのフィードバックモダリティを統合し、多様なユーザーのインタラクションスタイルをサポートする。
• 最適な模倣が利用可能な場合と同等の漸近的レートで減少する、理論的レグレットバウンドを維持することで、真の好み関数への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 完全な最適な模倣ではなく、段階的で最適でないフィードバックのみを用いて、ロボットがマニピュレーション軌道のユーザー好みを学習できるか？
• RQ2 弱いフィードバックを用いるにもかかわらず、本研究で提案する共同学習フレームワークが、最適な軌道学習アルゴリズムと同等のレグレットバウンドを達成できるか？
• RQ3 学習済みの好みモデルは、訓練時に見なかった新しいタスクや環境にどの程度一般化できるか？
• RQ4 再ランク付けとゼロGフィードバックの組み合わせは、実世界のロボット実験においてユーザーがロボットを効率的に訓練できるか？
• RQ5 自由度の高いマニピュレータにおいて、物体の性質（例：破損のしやすさ、鋭さ）や環境的制約（例：人の接近）を考慮した意味のある軌道好みを学習できるか？

主な発見

• Baxterロボットの訓練には、1タスクあたり平均で再ランク付け3回、ゼロGフィードバック2回（平均5.5分）のフィードバックで十分であり、実用的であることが示された。
• ユーザーは5回のフィードバックでOracle-SVMを上回る性能を達成し、軌道品質について5段階リッカート尺度で平均3.8～4.4の自己評価を得た。
• クロスユーザー評価の平均は3.2～4.0であり、ユーザー間での好みの差がわずかに抑えられていたことから、モデルが一貫性があり一般化可能な好みを捉えていることが示された。
• アルゴリズムは良好に一般化した：未訓練の環境や新しい物体に対しても、未訓練のMMP-onlineおよびTPPモデルは、Manualやノイズの多いLfDといったベースライン手法を上回った。
• バッチ実験では、事前学習済みのTPPモデルが平均nDCG@3で0.85を達成し、他のベースラインを著しく上回った。オブジェクトや環境が変更された場合でも一般化性能は強く保たれた。
• TPPアルゴリズムの理論的レグレットバウンドは、最適なアルゴリズムと同等の漸近的減少率を示しており、弱いフィードバックが最終的な学習性能に悪影響を及えないことを証明した。