[論文レビュー] Learning Visually Guided Latent Actions for Assistive Teleoperation

Siddharth Karamcheti, Albert J. Zhai+2 more|arXiv (Cornell University)|May 2, 2021

Robot Manipulation and Learning参考文献 25被引用数 7

ひとこと要約

本論文は、事前学習済みの物体検出器からの視覚的文脈を条件として用いることで、高自由度の補助的ロボットの直感的で低次元の遠隔操作を可能にする、視覚的に誘導される潜在行動フレームワークを提案する。YOLO-v5を用いて物体の識別と位置を符号化することで、新しい物体やタスクに対するロバストな少サンプル一般化を達成し、実世界のユーザー実験において、成功確率とユーザーの好みの両面でベースライン制御戦略を顕著に上回った。

ABSTRACT

It is challenging for humans -- particularly those living with physical disabilities -- to control high-dimensional, dexterous robots. Prior work explores learning embedding functions that map a human's low-dimensional inputs (e.g., via a joystick) to complex, high-dimensional robot actions for assistive teleoperation; however, a central problem is that there are many more high-dimensional actions than available low-dimensional inputs. To extract the correct action and maximally assist their human controller, robots must reason over their context: for example, pressing a joystick down when interacting with a coffee cup indicates a different action than when interacting with knife. In this work, we develop assistive robots that condition their latent embeddings on visual inputs. We explore a spectrum of visual encoders and show that incorporating object detectors pretrained on small amounts of cheap, easy-to-collect structured data enables i) accurately and robustly recognizing the current context and ii) generalizing control embeddings to new objects and tasks. In user studies with a high-dimensional physical robot arm, participants leverage this approach to perform new tasks with unseen objects. Our results indicate that structured visual representations improve few-shot performance and are subjectively preferred by users.

研究の動機と目的

• 高次元で器用なロボットアームを、低次元の入力で制御する課題に取り組むこと、特に身体的障害を有するユーザーを対象とする。
• 学習済みの潜在行動埋め込みに視覚的文脈を組み込むことで、補助的遠隔操作における一般化性能とロバスト性を向上させること。
• エンドツーエンドの視覚符号化や視覚入力なしと比較して、具体的には物体検出の出力といった構造化された視覚表現の有効性を評価すること。
• 未観測の物体やタスクを含む実世界の遠隔操作シナリオにおけるユーザーの好みとパフォーマンスを評価すること。

提案手法

• 1-DoFのジョイスティック入力を、視覚状態表現を条件として7-DoFのロボット動作にマッピングするための条件付き変分オートエンコーダ（CAE）を訓練する。
• 視覚状態表現は、1オブジェクトクラスあたり75～100枚のアノテート済み画像で事前学習されたYOLO-v5物体検出器を用いて生成される。
• 1エピソードあたり1フレームの視覚符号化を用い、リアルタイムの推論ループを回避することで、低遅延制御を維持する。
• 視覚エンコーダは、1次元の潜在空間から全7-DoFの動作にデコードする潜在行動モデルに統合され、直感的な遠隔操作を可能にする。
• 3回のデモのみで、新しいオブジェクトに学習済みの埋め込みを一般化することで、少サンプルへの適応を可能にする。
• ユーザー実験では、エンドエフェクタ制御、ロケーションのみ（オラクル分類）、YOLO-v5に基づく構造化された視覚表現の3つの制御戦略を比較する。

実験結果

リサーチクエスチョン

• RQ1 物体検出器からの構造化された視覚表現は、潜在行動ベースの遠隔操作における少サンプル一般化を改善できるか？
• RQ2 視覚的文脈を組み込むことで、補助的ロボット制御におけるユーザーのパフォーマンスと主観的好みにどのような影響を与えるか？
• RQ3 事前学習済みの物体検出器は、少量のアノテート済みデータでロバストかつ正確な文脈認識を可能にするか？
• RQ4 実世界の環境において、検出器をバックエンドに持つ潜在行動モデルは、エンドツーエンドの視覚モデルや視覚入なしの状況と比較して、どのように性能を発揮するか？
• RQ5 視覚的文脈に導かれた1次元ジョイスティックを用いた場合、ユーザーは高自由度のロボットをどれほど直感的に制御できるか？

主な発見

• YOLO-v5に基づく構造化された視覚表現は、基本的なタスクで100%の成功確率を達成し、ロケーションのみのベースライン（4つの少サンプルタスクのうち3つで失敗）を顕著に上回った。
• YOLO-v5モデルは、わずか3回のデモでのみ、未観測の物体で90%の成功確率を達成し、強力な少サンプル一般化を示した。
• ユーザーはYOLO-v5戦略を著しく直感的で自然かつ役立つと評価し、参加者の100%が再利用したいと回答した。
• エンドエフェクタ制御戦略は、見慣れたタスクでは高い成功確率を達成したが、不規則で不自然な動きを生じさせ、使いやすさと直感性の観点で低い評価を受けた。
• ロケーションのみのベースラインは、50%の試行で物体の位置特定に失敗し、正確な物体操作を要するタスクでは0%の成功確率に終わった。
• 軌道の視覚的点検により、YOLO-v5が滑らかで人間らしい動きを生成した一方、エンドエフェクタ制御は不規則で直感に反する動きを示したことが確認された。