[論文レビュー] Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours

Lerrel Pinto, Abhinav Gupta|arXiv (Cornell University)|Sep 23, 2015

Robot Manipulation and Learning参考文献 12被引用数 28

ひとこと要約

本論文は、Baxterロボットを用いて700時間にわたり50,000回の試行錯誤的 grasping を収集することで、大規模な自己教師あり学習フレームワークを提案する。grasp予測を画像パッチに対する18方向のバイナリ分類問題として定式化し、段階的なカリキュラム学習アプローチを採用することで、困難なネガティブ例を繰り返し収集する。その結果、未観測の物体に対して66%の成功率を達成し、従来の手法に比べて顕著に優れた性能を示した。

ABSTRACT

Current learning-based robot grasping approaches exploit human-labeled datasets for training the models. However, there are two problems with such a methodology: (a) since each object can be grasped in multiple ways, manually labeling grasp locations is not a trivial task; (b) human labeling is biased by semantics. While there have been attempts to train robots using trial-and-error experiments, the amount of data used in such experiments remains substantially low and hence makes the learner prone to over-fitting. In this paper, we take the leap of increasing the available training data to 40 times more than prior work, leading to a dataset size of 50K data points collected over 700 hours of robot grasping attempts. This allows us to train a Convolutional Neural Network (CNN) for the task of predicting grasp locations without severe overfitting. In our formulation, we recast the regression problem to an 18-way binary classification over image patches. We also present a multi-stage learning approach where a CNN trained in one stage is used to collect hard negatives in subsequent stages. Our experiments clearly show the benefit of using large-scale datasets (and multi-stage training) for the task of grasping. We also compare to several baselines and show state-of-the-art performance on generalization to unseen objects for grasping.

研究の動機と目的

• 人為的アノテーションによる grasping データセットの限界を克服すること。これは、意味論的バイアスが生じやすく、1つのオブジェクトに対して複数の有効な grasp ポイントがあるため、網羅的なラベル付けが現実的ではない。
• 従来の研究をはるかに超える規模のデータ収集を、広範な試行錯誤の相互作用を用いて実現することで、人為的ラベル付けに依存するのを軽減すること。
• ロボットの相互作用によって収集された大規模な自己教師ありデータを用いて、高容量の CNN をトレーニングすることで、未学習のオブジェクトへの一般化性能を向上させること。
• 大規模な自己教師ありデータ収集が、人為的ラベルなしで堅牢で一般化可能な grasping ポリシーを可能にするかどうかを調査すること。

提案手法

• Baxter ロボットを用いて700時間にわたり50,000回の grasp 尝試を収集し、各試行を特定の画像パッチと角度で成功または失敗としてラベル付けする。
• grasp 予測を、各出力ノードが離散的な grasp 角度のビンに対応する18方向のバイナリ分類問題として再定式化することで、複数角度の grasp 予測を可能にする。
• マルチステージの学習パイプラインを用いる：事前学習済み ImageNet CNN を初期データで微調整し、その結果得られたモデルを次のトレーニング段階のためのハードネガティブ例の特定に使用する。
• ハードネガティブ例は、現在のモデルでの推論を実行し、予測の信頼度は高いが実際の成功率は低いパッチを選択することで収集する。これらの例はトレーニングセットに追加される。
• 各段階でデータ集約を用いる：過去の全データを保持し、再トレーニングすることで分布シフトを防ぎ、モデルのロバスト性を向上させる。
• 実ロボットテストでは再ランク付け戦略を適用する：上位10件の予測 grasp を、近隣分析を用いて再スコアリングすることで、実行誤差に対するロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ロボットの試行錯誤実験から得られる大規模な自己教師ありデータ収集が、未学習のオブジェクトにおけるロボット grasping の一般化性能を顕著に向上させることができるか？
• RQ2 ハードネガティブマイニングを用いたマルチステージカリキュラム学習は、ランダムなデータ収集や単一段階の学習に比べて性能を向上させるか？
• RQ3 自己教師ありデータの規模（例：50,000例 対 1,000例）が、grasping における深層学習モデルの性能と一般化性能に与える影響は何か？
• RQ4 ImageNet での事前学習は、初期化から学習を開始する場合と比較して、grasping タスクの性能にどの程度向上効果をもたらすか？
• RQ5 自己教師あり grasping ポリシーは、ごみ混じりの環境や現実世界の実行誤差に対しても一般化可能か？

主な発見

• 実ロボットテストにおいて、未学習のオブジェクトに対して66%の成功率を達成し、トレーニング分布をはるかに超える強力な一般化性能を示した。
• ImageNet での事前学習を用いた場合、50,000件のデータで未学習オブジェクトに対して76.9%の精度を達成したが、初期化から学習を開始した場合では64.6%にとどまり、事前学習による顕著な性能向上が確認された。
• マルチステージ学習により、1段階目で76.9%から79.3%に、3段階目で79.5%にまで精度が向上し、ハードネガティブマイニングによる明確な性能向上が示された。
• データ集約は不可欠である：現在の段階のデータのみで学習すると精度は72.3%に低下し、履歴データの保持が性能劣化を防ぐことが示された。
• モデルはごみ混じりの環境にも一般化可能であり、10個のオブジェクトが混在する状況で5回の試行において、平均26回の相互作用で1回の成功を達成した。
• アブレーションスタディにより、データサイズの増加が一貫した性能向上をもたらすことが確認され、20,000件を過ぎたあたりで性能の飽和が見られた。