[論文レビュー] Deep Imitation Learning of Sequential Fabric Smoothing From an Algorithmic Supervisor

Daniel Seita, Aditya Ganapathi+12 more|arXiv (Cornell University)|Sep 23, 2019

Robot Manipulation and Learning参考文献 47被引用数 9

ひとこと要約

本論文では、模擬環境におけるアルゴリズム的スーパvisorを用いて、連続的な布地のなめらかさを向上させるための深層模倣学習フレームワークを提案する。ドメインランダマイゼーションとRGB、深度、またはRGBD入力を用いたDAggerを活用することで、物理的なda Vinciロボットで83–95%のカバレッジを達成し、RGBのみに比べて深度センシングが複雑で極めてしわくちゃな布地に対して顕著に性能向上をもたらすことを示している。

ABSTRACT

Sequential pulling policies to flatten and smooth fabrics have applications from surgery to manufacturing to home tasks such as bed making and folding clothes. Due to the complexity of fabric states and dynamics, we apply deep imitation learning to learn policies that, given color (RGB), depth (D), or combined color-depth (RGBD) images of a rectangular fabric sample, estimate pick points and pull vectors to spread the fabric to maximize coverage. To generate data, we develop a fabric simulator and an algorithmic supervisor that has access to complete state information. We train policies in simulation using domain randomization and dataset aggregation (DAgger) on three tiers of difficulty in the initial randomized configuration. We present results comparing five baseline policies to learned policies and report systematic comparisons of RGB vs D vs RGBD images as inputs. In simulation, learned policies achieve comparable or superior performance to analytic baselines. In 180 physical experiments with the da Vinci Research Kit (dVRK) surgical robot, RGBD policies trained in simulation attain coverage of 83% to 95% depending on difficulty tier, suggesting that effective fabric smoothing policies can be learned from an algorithmic supervisor and that depth sensing is a valuable addition to color alone. Supplementary material is available at https://sites.google.com/view/fabric-smoothing.

研究の動機と目的

• 複雑で極めてしわくちゃな状態の布地に対して、強固で転送可能なロボット政策を開発すること。
• RGB、深度（D）、RGBD入力の有効性を調査し、布地カバレッジ最大化のための正確なピックアンドプル行動を実現する。
• ドメインランダマイゼーションとDAggerを用いて、シミュレーションで訓練された政策を物理的なda Vinci外科手術ロボットにゼロショット転送すること。
• 初期布地の複雑さの3段階（ティア）にわたり、学習済み政策の性能をアナリティカルベースラインと比較すること。
• 深度のみの政策における失敗モードを同定し、RGBと深度を組み合わせることで耐性が向上することを示すこと。

提案手法

• 有限要素法（FEM）に基づく布地シミュレータが、政策訓練のための現実的な布地のダイナミクスと状態を生成する。
• 完全な状態情報へのアクセスを有するアルゴリズム的スーパvisorが、カバレッジを最大化する最適なピックポイントとプルベクトルを選択し、模倣学習のエキスパートデモを提供する。
• 色と深度モダリティにドメインランダマイゼーションを適用し、シミュレーションから実世界への一般化性能を向上させる。
• ロールアウト中にスーパvisorを問い合わせることで、初期状態の多様性に対する耐性を高めるためにDAggerを用いて政策を反復的に最適化する。
• 初期布地配置の難易度が3段階（軽度から極度にまで）に分けられた設定で、政策を訓練する。
• RGB、D、RGBD画像観測を政策ネットワークの入力として用い、モダリティの有効性を比較するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的スーパvisorを用いてシミュレーションで訓練された深層模倣学習政策は、物理的ロボットでも高い布地カバレッジを達成できるか？
• RQ2 RGBのみの入力と比較して、深度センシング（DまたはRGBD）を組み込むことで、カバレッジ性能と耐性にどのような差が生じるか？
• RQ3 初期布地の複雑さ（ティアドの難易度）は、政策の性能と一般化能力にどのような影響を及えるか？
• RQ4 なぜ深度のみの政策はときとして失敗するのか？RGBD入力はその失敗をどのように緩和するか？
• RQ5 ドメインランダマイゼーションとDAggerを用いることで、布地なめらかさタスクにおけるシミュレーションから実世界への転送はどの程度効果的か？

主な発見

• da Vinci Research Kitを用いた実機実験では、RGBD政策が難易度ティアごとに83%から95%のカバレッジを達成し、RGBおよびD政策を上回った。
• 最も簡単な初期状態（ティア1）では、RGBD政策が20回中20回の試行で92%のカバレッジを達成し、RGBのみの政策と同等の性能を示した。
• 最も複雑な初期状態（ティア3）では、RGBD政策が最高の最終的カバレッジ（89.8%）と、ベースラインに対する最大の増加（33.4%）を達成し、RGB（25.2%）およびD（7.8%）政策を上回った。
• 深度のみの政策は、すでになめらかになった布地の中心付近を引き抜くなど、逆効果の行動を示し、失敗事例でその傾向が確認された。
• RGBと深度の組み合わせ（RGBD）は、特に隠れたコーナーを有する極めてしわくちゃな布地において、耐性と微調整能力を顕著に向上させた。
• 実際の画像データのトレーニングを行わずとも、政策はシミュレーションから実世界へ効果的に転送された。ドメインランダマイゼーションとDAggerが、シミュレーションから実世界への布地操作タスクの転送に有効であることを裏付けた。