[論文レビュー] Task-sequencing Simulator: Integrated Machine Learning to Execution Simulation for Robot Manipulation

Kazuhiro Sasabuchi, Daichi Saito+4 more|arXiv (Cornell University)|Jan 3, 2023

Scientific Computing and Data Management被引用数 5

ひとこと要約

この論文では、学習用シミュレーションとロボット操作の実行シミュレーションを統合するタスクシーケンシングシミュレータを紹介する。このシミュレータは、トレーニング可能で合成可能な概念モデルを用いて、複数ステップのタスクシーケンスを構造化することで実現される。シミュレータは、プログラムされたタスクブロックと学習済みタスクブロックを相互に交換可能なコンponentとして扱うことで、追加の現実世界データ収集なしにシミュレーションから現実世界への移行を可能にし、シミュレーションから現実への転送を達成する。

ABSTRACT

A task-sequencing simulator in robotics manipulation to integrate simulation-for-learning and simulation-for-execution is introduced. Unlike existing machine-learning simulation where a non-decomposed simulation is used to simulate a training scenario, the task-sequencing simulator runs a composed simulation using building blocks. This way, the simulation-for-learning is structured similarly to a multi-step simulation-for-execution. To compose both learning and execution scenarios, a unified trainable-and-composable description of blocks called a concept model is proposed and used. Using the simulator design and concept models, a reusable simulator for learning different tasks, a common-ground system for learning-to-execution, simulation-to-real is achieved and shown.

研究の動機と目的

• マルチステップのロボット操作タスクにおける学習用シミュレーションと実行用シミュレーションのギャップを埋める。
• ロボティクスにおける非分解型のトレーニング用シミュレータと構成型の実行用シミュレータの間の構造的不一致に対処する。
• 再利用可能で合成可能なポリシーを実現し、再トレーニングなしに異なるタスクシーケンス間で組み合わせることが可能にする。
• ポリシー学習における必要十分なゴール状態を分離することで、シミュレーションから現実へのドメインシフトを最小限に抑える。
• 統一的でトレーニング可能で合成可能なブロック抽象化である概念モデルを用いて、階層的学習と実行の合成を支援する。

提案手法

• モジュラーな構成ブロック（タスク）を順序で組み合わせることで、実際のロボット実行ワークフローを模倣するタスクシーケンシングシミュレータを設計する。
• タスクブロックの状態、行動、ゴール定義を統合的に表現する、統一的でトレーニング可能で合成可能な記述としての概念モデルを導入する。
• タスクシーケンスを原子的ステップ（例：つかむ、持ち上げる、持ってくる）に分解し、各ステップを設定可能なパラメータを持つ概念モデルとして表現する。
• 概念モデルを用いて、プログラム済みブロック、トレーニング中のブロック、完全にトレーニング済みブロックを含む混合実行をサポートする。
• 現実世界で観測可能な必要十分なゴール状態と、シミュレーション内で暗黙に学習される十分なゴール状態を分離することで、シミュレーションから現実へのギャップを低減する。
• 同じポリシー接続を再利用し、シミュレーションエンジンをROS互換のものに切り替えることで、シミュレーションから実ロボットへのポリシー転送を可能にする。

Figure 1: The proposed task-sequencing simulator which enables scenario composition for both learning and execution in robotics manipulation.

実験結果

リサーチクエスチョン

• RQ1 どのようにして、機械学習のトレーニングと現実ロボット実行を統一的かつ合成可能なフレームワークでサポートできるシミュレータを設計できるか？
• RQ2 一度シミュレーションでトレーニングした単一の再利用可能なポリシーを、再トレーニングなしに異なる実行シーケンスに直接適用できるか？
• RQ3 シミュレーションベースの学習から現実世界の実行への滑らかな移行を可能にするアーキテクチャ的設計は何か？
• RQ4 シミュレーション内でタスクシーケンスをどのように構造化すれば、現実のロボット実行で用いられる同一の合成論理を反映できるか？
• RQ5 暗黙のゴール状態（十分なゴール）をどれだけ活用すれば、ポリシー展開における正確な現実世界観測の必要性を低減できるか？

主な発見

• タスクシーケンシングシミュレータは、同じ合成可能なタスクシーケンスパラダイムを用いて、学習用シミュレーションと実行用シミュレーションを効果的に統合した。
• あるシーケンス（例：つかむ・持ち上げる・持ってくる）でトレーニングしたポリシーが、概念モデルの再設定により、異なる実行シナリオ（例：拾って投げる）に直接再利用可能であり、高い再利用性を示した。
• 同じポリシーがシミュレーションで学習されたまま、追加の現実世界データ収集なしに実ロボットでの実行が可能になった。これは、効果的なシミュレーションから現実への転送を確認するものである。
• 概念モデル設計における必要ゴール状態と十分ゴール状態の分離により、シミュレーションから現実へのギャップが低減した。これは、現実世界の展開に必要なのは観測可能なダイナミクスのみであることを示した。
• 概念モデルにより、階層的学習と実行の合成が可能になり、再トレーニングなしに、訓練済みまたはプログラム済みブロックの上に新しいタスクを構築できるようになった。
• 同じ学習済みポリシー部品を用いて、複雑なシーケンス（例：上段の棚から取り出し、下段の棚に置く；拾って投げる）の実行が可能になった。これは、シナリオ間でのスケーラビリティを示している。

Figure 2: An illustration of a task model.