[論文レビュー] Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation

Pete Florence, Lucas Manuelli+1 more|arXiv (Cornell University)|Jun 22, 2018

Robot Manipulation and Learning参考文献 32被引用数 99

ひとこと要約

Dense Object Nets は、自己教師付きでピクセル単位の密な視覚記述子を学習し、剛体および非剛体オブジェクトの操作をサポートする。マルチオブジェクトとクラス一般化能力を備え、特定の点を把持することや、インスタンス間/クラス間の転送を可能にする。

ABSTRACT

What is the right object representation for manipulation? We would like robots to visually perceive scenes and learn an understanding of the objects in them that (i) is task-agnostic and can be used as a building block for a variety of manipulation tasks, (ii) is generally applicable to both rigid and non-rigid objects, (iii) takes advantage of the strong priors provided by 3D vision, and (iv) is entirely learned from self-supervision. This is hard to achieve with previous methods: much recent work in grasping does not extend to grasping specific objects or other tasks, whereas task-specific learning may require many trials to generalize well across object configurations or other tasks. In this paper we present Dense Object Nets, which build on recent developments in self-supervised dense descriptor learning, as a consistent object representation for visual understanding and manipulation. We demonstrate they can be trained quickly (approximately 20 minutes) for a wide variety of previously unseen and potentially non-rigid objects. We additionally present novel contributions to enable multi-object descriptor learning, and show that by modifying our training procedure, we can either acquire descriptors which generalize across classes of objects, or descriptors that are distinct for each object instance. Finally, we demonstrate the novel application of learned dense descriptors to robotic manipulation. We demonstrate grasping of specific points on an object across potentially deformed object configurations, and demonstrate using class general descriptors to transfer specific grasps across objects in a class.

研究の動機と目的

• タスクに依存しない自己教師付きの密な視覚記述子表現を、剛体および非剛体オブジェクトに適用可能な操作のために開発する。
• 未知の物体と物体クラスに対する密な記述子の学習を、迅速化（約20分程度）で実現する。
• マルチオブジェクト用の異なる記述子を作成する技術と、クラス間に一般化する記述子、またはインスタンス特有の記述子を維持する技術を開発する。
• 学習した密な記述子を用いてオブジェクト上の特定の点を把持する操作タスクを実証し、インスタンス間またはクラス間で把持を転送する。

提案手法

• RGB画像をW×H×Dの記述子空間に写像する記述子マッピングfを訓練するために、密なピクセルごとの対照学習損失を用いる。
• RGBD動画から3D密な再構成を介して一致/不一致を構築し、人間のラベルなしで自己教師付き学習を可能にする。
• 3D変化検知に基づくオブジェクト中心のマスキングを適用して、訓練を物体に集中させ、背景を無視する。
• 背景ドメイン乱択化とハードネガティブスケーリングを導入して、シーンをまたぐ一貫性と記述子の精度を向上させる。
• クロスオブジェクト損失を用いたマルチオブジェクト密集記述子へ拡張し、シーン内の直接的なマルチオブジェクト訓練と合成マルチオブジェクトシーン構成を導入する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きで学習した密なピクセル単位の記述子は、視点や変形を跨いでも一貫した物体表現を提供できるか。
• RQ2 密な記述子において、インスタンス固有の精度を損なうことなく、マルチオブジェクトとクラス一般化をどのように達成できるか。
• RQ3 学習した密な記述子は、構成を横断してオブジェクトの特定の点を把持する操作や、インスタンス間・クラス間で把持を転送する等の操作タスクをどの程度可能にするか。

主な発見

• 記述子は、低テクスチャの物体を含む多様な物体に対して、顕著な変形を跨いでも一貫性がある。
• クロスオブジェクト損失とより大きな記述子空間は、複数の物体に対して異なる記述子領域を可能にするが、性能を犠牲にしない。
• 記述子はクラス間で一般化し（帽子、靴、マグ）、クラス内の未知のインスタンスに対して把持を転送できる。
• 個別物体技術は、混雑した場面や複数の物体配置において物体上の特定の点を把持することを可能にする。
• 背景ドメイン乱択化と姿勢乱択化は、特に小規模データセットで記述子の頑健性を向上させる。