[論文レビュー] Learning to Place Objects onto Flat Surfaces in Human-Preferred Orientations.

R. Newbury, Kerry He+2 more|arXiv (Cornell University)|Apr 1, 2020

Robot Manipulation and Learning参考文献 22被引用数 3

ひとこと要約

本論文では、配置回転畳み込みニューラルネットワーク（PR-CNN）と配置安定性畳み込みニューラルネットワーク（PS-CNN）を用いた2段階のディープラーニングアプローチを提案する。この手法により、ロボットは人間が好む方向（例：コップを逆さにせず立てて置く）に、掴んだ物体を平らな表面に配置できる。この方法は反復的に回転を予測・評価し、18種類の日常的物体を対象にシミュレーションで86.1%の成功率を達成した。また、実世界でのプロトタイプ実装により、シミュレーションから実世界への転送が成功した。

ABSTRACT

We study the problem of placing a grasped object on an empty flat surface in a human-preferred orientation, such as placing a cup on its bottom rather than on its side. We aim to find the required object rotation such that when the gripper is opened after the object makes a contact with the surface, the object would be stably placed in the desired orientation. We use two neural networks in an iterative fashion. At every iteration, Placement Rotation CNN (PR-CNN) estimates the required object rotation which is executed by the robot, and then Placement Stability CNN (PS-CNN) estimates if the object would be stable if it is placed in its current orientation. In simulation experiments, our approach places objects in human-preferred orientations with a success rate of 86.1% using a dataset of 18 everyday objects. A real-world implementation is presented, which serves as a proof-of-concept for direct sim-to-real transfer. We observe that sometimes it is impossible to place a grasped object in a desired orientation without re-grasping, which motivates future research for grasping with intention to place objects.

研究の動機と目的

• ロボットが、コップを横に置くのではなく、底を下にして立てるなど、人間が好む方向に、掴んだ物体を平らな表面に配置できるようにすること。
• グリッパーを離した後の安定した配置を保証するのに適した物体の回転を特定する課題に対処すること。
• 現在のグリップ状態から直接最適な配置方向を予測することで、再グリップを回避する手法を開発すること。
• シミュレーションで学習したポリシーを、微調整なしに実世界のロボットに直接適用可能にするシミュレーションから実世界への転送を可能にすること。

提案手法

• システムは反復的なプロセスを用い、PR-CNNが配置に必要な物体の回転を予測する。
• 回転後、PS-CNNが現在の方向に配置した場合に物体が安定するかどうかを評価する。
• PR-CNNとPS-CNNの両方とも、18種類の日常的物体（多様な形状とグリップポーズを含む）のシミュレーションデータセット上で学習される。
• ポリシーはまずシミュレーションで実行され、その後、微調整なしに実際のロボットに直接転送される。
• 安定で人間が好む方向の配置が見つかるまで、回転予測と安定性評価を交互に繰り返す。
• 明示的な幾何的推論を必要とせず、ロボットの現在状態を最適な配置行動に直接マッピングするエンドツーエンドのディープラーニングを活用する。

実験結果

リサーチクエスチョン

• RQ1 再グリップを伴わずに、人間が好む配置方向を達成するための正しい物体の回転を、ディープラーニングモデルが予測できるか？
• RQ2 回転予測と安定性予測の2ネットワークによる反復的アプローチは、安定で好ましい物体の配置を達成するためにどの程度有効か？
• RQ3 シミュレーションで学習したポリシーが、実世界のロボット操作にどの程度成功裏に転送可能か？
• RQ4 1回のグリップから望ましい方向に物体を配置する際の制限は何か？また、再グリップが必要となる状況はいつ発生するか？

主な発見

• 提案手法は、18種類の日常的物体を対象に、シミュレーションで人間が好む方向に物体を配置する成功率が86.1%に達した。
• 実世界での実装により、シミュレーションから実世界への転送が成功し、本手法の堅牢性が裏付けられた。
• 本システムは、再グリップなしに物理的に不可能な配置方向であると特定し、意図に配慮したグリッピングの必要性を浮き彫りにした。
• PR-CNNとPS-CNNを反復的に使用することで、物体-表面相互作用の明示的幾何モデリングを必要とせず、安定した配置意思決定が可能になった。
• 結果から、人間が好む方向に配置することが1回のグリップから常に可能であるとは限らず、将来的には配置意図を考慮したグリッピングの研究が促進されることが示された。
• 2つの畳み込みニューラルネットワークのフレームワークは、回転予測と安定性評価を効果的にバランスさせ、複雑な状況下でも信頼性の高い配置意思決定を可能にした。