[論文レビュー] Grasping with Chopsticks: Combating Covariate Shift in Model-free Imitation Learning for Fine Manipulation

Liyiming Ke, Jingqiang Wang+3 more|arXiv (Cornell University)|Nov 13, 2020

Robot Manipulation and Learning参考文献 31被引用数 4

ひとこと要約

本論文は、チョップスティックを用いた微細操作における共変量シフトを低減する非インタラクティブでモデルフリーな模倣学習手法を提案する。ノイズ注入によるデータ拡張とオブジェクト中心の状態変換を活用し、ポリシーの一般化性能を向上させる。この手法により、実ロボットプラットフォーム上での成功確率が37.3%から80%に向上し、専門家の性能82.6%に近づいた。

ABSTRACT

Billions of people use chopsticks, a simple yet versatile tool, for fine manipulation of everyday objects. The small, curved, and slippery tips of chopsticks pose a challenge for picking up small objects, making them a suitably complex test case. This paper leverages human demonstrations to develop an autonomous chopsticks-equipped robotic manipulator. Due to the lack of accurate models for fine manipulation, we explore model-free imitation learning, which traditionally suffers from the covariate shift phenomenon that causes poor generalization. We propose two approaches to reduce covariate shift, neither of which requires access to an interactive expert or a model, unlike previous approaches. First, we alleviate single-step prediction errors by applying an invariant operator to increase the data support at critical steps for grasping. Second, we generate synthetic corrective labels by adding bounded noise and combining parametric and non-parametric methods to prevent error accumulation. We demonstrate our methods on a real chopstick-equipped robot that we built, and observe the agent's success rate increase from 37.3% to 80%, which is comparable to the human expert performance of 82.6%.

研究の動機と目的

• インタラクティブな専門家フィードバックや環境モデルを必要とせずに、モデルフリーな模倣学習における共変量シフトを解消すること。
• 唯一の専門家デモンストレーションデータを用いて、低データ量で高精度な操作タスクにおけるポリシーの一般化を向上させること。
• データサポートを強化し、ポリシー学習における誤差蓄積を是正するスケーラブルで非インタラクティブな手法を開発すること。
• アクチュエータを装備したチョップスティックを備えた実世界のロボットシステム上で、この手法を実証すること。
• 簡単な道具と最小限の専門家インタラクションで、人間レベルの性能を達成すること。

提案手法

• 重要なグリップ状態の周囲でのデータ密度を向上させるために、状態データをオブジェクト中心のフレームに変換する。
• 訓練中にガウスノイズを状態に摂動させることでノイズ注入を実施し、合成された是正ラベルを生成することで、ロバストネスを向上させる。
• 未観測状態における行動分布の一致を図るため、パラメトリック（行動クラーニング）とノンパラメトリック（k-NN）手法の組み合わせを用いる。
• 近隣距離のしきい値に基づいて、行動クラーニングとk-NNの間でポリシーを切り替えるハイブリッドアンサンブルポリシーを実装し、正確性とロバストネスのバランスを取る。
• 平均二乗誤差と回転差分メトリクスを用いて、位置、回転、開口角の誤差を重み付き損失関数で統合する。
• 独自のPID制御とキャリブレーションを採用し、エンドエフェクタの誤差を10 mmから4 mmに低減し、ベースライン性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブな専門家フィードバックや環境モデルがなくても、モデルフリーな模倣学習における共変量シフトを効果的に緩和できるか？
• RQ2 状態空間におけるノイズ注入は、微細操作タスクにおけるポリシーの一般化をどのように向上させるか？
• RQ3 オブジェクト中心のデータ変換は、重要なグリップ領域におけるデータサポートをどの程度向上させられるか？
• RQ4 パラメトリック手法とノンパラメトリック手法の組み合わせは、行動クラーニング単体に比べて未観測状態における行動分布の一致をどの程度改善できるか？
• RQ5 提案手法は、チョップスティックを用いた実世界の微細操作において、人間専門家と同等の性能を達成できるか？

主な発見

• 提案手法により、実ロボットシステムの小立方体および小球形物体のグリップ成功確率が37.3%から80%に向上し、専門家の82.6%に近づいた。
• 最も挑戦的な物体（小球）では60%の成功率を達成したが、ナードな行動クラーニングベースラインではわずか12%であった。
• アブレーションスタディの結果、ノイズ注入とデータ変換の両方が共変量シフトの低減とポリシーのロバストネス向上に顕著に寄与することが確認された。
• 状態分布の可視化から、提案手法を用いることで専門家の状態分布からの乖離が顕著に減少することが示された。
• ノイズ注入手法はシミュレーテッドMuJoCo環境に対しても良好に一般化され、実世界のテストベッドを超えた移植性を示した。
• 本手法により、インタラクティブなデータ収集の必要がなくなり、デモンストレーション中のリアルタイム補正の必要性が排除され、専門家の負担が軽減された。