[論文レビュー] Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin Picking

Kai Chen, Rui Cao+5 more|arXiv (Cornell University)|Apr 14, 2022

Robot Manipulation and Learning被引用数 4

ひとこと要約

本論文は、写真のようにリアルなシミュレータを用いて合成データを生成し、教師モデルからの偽ラベルを用いてリアルデータ上で繰り返し自己訓練を行う反復的自己訓練フレームワークを提案する。この手法により、新しいデータセットでADD(-S)が22.62%向上し、ロボットのビンピッキング成功率が19.54%向上した。手動アノテーションを一切不要として、有効なドメイン適応を実現した。

ABSTRACT

In this paper, we propose an iterative self-training framework for sim-to-real 6D object pose estimation to facilitate cost-effective robotic grasping. Given a bin-picking scenario, we establish a photo-realistic simulator to synthesize abundant virtual data, and use this to train an initial pose estimation network. This network then takes the role of a teacher model, which generates pose predictions for unlabeled real data. With these predictions, we further design a comprehensive adaptive selection scheme to distinguish reliable results, and leverage them as pseudo labels to update a student model for pose estimation on real data. To continuously improve the quality of pseudo labels, we iterate the above steps by taking the trained student model as a new teacher and re-label real data using the refined teacher model. We evaluate our method on a public benchmark and our newly-released dataset, achieving an ADD(-S) improvement of 11.49% and 22.62% respectively. Our method is also able to improve robotic bin-picking success by 19.54%, demonstrating the potential of iterative sim-to-real solutions for robotic applications.

研究の動機と目的

• ロボットのビンピッキング応用における現実世界の6次元オブジェクトポーズデータのアノテーションにかかる高コストと困難さに対処すること。
• カスタムのシミュレーション設定やネットワークアーキテクチャを必要とせずに、6次元オブジェクトポーズ推定におけるシミュレーションから現実へのドメインギャップを低減すること。
• ラベルなしの現実データのみを用いて、スケーラブルかつネットワークに依存しない方法で、新しい現実世界のビンピッキングシナリオにポーズ推定モデルを適応させること。
• 合成データのみで訓練されたポーズ推定モデルの現実世界性能を、偽ラベルを用いた反復的自己訓練により向上させること。

提案手法

• 写真のようにリアルなシミュレータを用いて、正確な6次元ポーズアノテーションを伴う豊富な合成RGB-Dデータを生成し、初期のポーズ推定ネットワークの事前学習に用いる。
• 事前学習済みモデルを教師として用い、ラベルなしの現実世界データに対して6次元ポーズを予測し、自己訓練用の偽ラベルを生成する。
• 2次元の外観と3次元の幾何的特徴を統合した包括的な適応的選択機構を用いて、信頼性の高い偽ラベルを特定し、ノイズの多い予測をフィルタリングする。
• 選択された偽ラベル付きの現実データ上で学生モデルをファインチューニングし、更新された学生モデルを新たな教師として繰り返し反復処理を実行する。
• 反復的精錬プロセスにより、現実データ上のポーズ推定精度が段階的に向上し、約5反復で性能が飽和する。
• 本手法は公開ベンチマークおよび新規にリリースされたデータセットで評価され、実ロボットアームにデプロイされ、ビンピッキングタスクに使用された。

実験結果

リサーチクエスチョン

• RQ1 手動アノテーションを一切不要として、偽ラベルを用いた反復的自己訓練が、6次元オブジェクトポーズ推定におけるシミュレーションから現実へのギャップを効果的に埋め合わせられるか？
• RQ2 現実データ上で反復的自己訓練を繰り返すにあたり、ポーズ推定モデルの性能はどのように向上するか？
• RQ3 本手法は、異なるバックボーンネットワークや現実世界のビンピッキングシナリオにどの程度一般化可能か？
• RQ4 本手法により、ポーズ推定精度の向上をもって、ロボットのビンピッキング成功率を顕著に向上させられるか？

主な発見

• 提案手法は、公開のROBIベンチマークデータセットでADD(-S)が11.49%向上した。
• 新規にリリースされたデータセットでは、ADD(-S)が22.62%向上し、強力なドメイン適応能力を示した。
• ロボットのビンピッキング成功率は、自己訓練フレームワーク適用後、67.96%から87.50%に上昇した。
• 最初の反復で最大の性能向上が得られ、約5反復後には収束傾向を示した。
• 本手法はDenseFusionなどの異なるバックボーンネットワークに対しても一般化可能であり、現実データ上で一貫した向上を示した。
• 定性的な結果から、反復的精錬により、ポーズ予測が時間経過とともに真値に視覚的に収束することが確認された。