[論文レビュー] Domestic waste detection and grasping points for robotic picking up

Víctor de Gea, Santiago Timoteo Puente Méndez+1 more|arXiv (Cornell University)|May 14, 2021

Advanced Neural Network Applications参考文献 4被引用数 6

ひとこと要約

本論文では、RGB-Dデータを用いた深層学習ベースのシステムを提案し、屋内および屋外環境における家庭ごみの検出と、2本指グリッパーを備えたロボットアームの最適な3次元把持ポイントの計算を実現する。5種類のごみクラスをカスタムデータセットで学習することで、実世界の環境におけるリサイクル自動化の向上を図る。

ABSTRACT

This paper presents an AI system applied to location and robotic grasping. Experimental setup is based on a parameter study to train a deep-learning network based on Mask-RCNN to perform waste location in indoor and outdoor environment, using five different classes and generating a new waste dataset. Initially the AI system obtain the RGBD data of the environment, followed by the detection of objects using the neural network. Later, the 3D object shape is computed using the network result and the depth channel. Finally, the shape is used to compute grasping for a robot arm with a two-finger gripper. The objective is to classify the waste in groups to improve a recycling strategy.

研究の動機と目的

• 多様な屋内および屋外環境における家庭ごみの検出を目的とするAIシステムの開発。
• 検出されたごみを5つの異なるカテゴリに分類し、的確なリサイクル戦略を支援すること。
• 深度情報とインスタンスセグメンテーションを活用して、2本指ロボットグリッパーのための正確な3次元把持ポイントを計算すること。
• 学習およびベンチマークのための新しい公開可能な家庭ごみデータセットの作成。
• 非構造的環境における2本指グリッパーを用いたロボットによるごみの確実な把持を可能にすること。

提案手法

• 実世界の環境から深度カメラとRGBセンサーを用いてRGB-Dデータを取得する。
• 5種類の家庭ごみクラスを検出およびインスタンスセグメンテーションするため、Mask R-CNNに基づく深層学習モデルを訓練する。
• 検出されたインスタンスを深度データと統合し、3次元空間における3次元オブジェクト形状を再構築する。
• 再構築された3次元形状情報を処理して、2本指ロボットグリッパーのための最適な把持ポイントを計算する。
• 検出およびセグメンテーション性能の向上を目的として、ネットワークハイパーパramータの最適化に関するパラメータスタディを実施する。
• 実世界の環境、屋内および屋外の両方の条件下でシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 Mask R-CNNベースのモデルは、非構造的で屋内および屋外の環境において、家庭ごみをどれほど正確に検出し、セグメンテーションできるか？
• RQ2 異なるネットワークハイパーパramータが、検出および把持ポイント計算性能に与える影響は何か？
• RQ3 RGB-Dデータからの3次元形状再構築は、多様な家庭ごみタイプの信頼性のあるロボット把持を可能にするか？
• RQ4 提案されたシステムは、リサイクル目的の5つの異なるカテゴリへのごみ分類において、どの程度効果的か？
• RQ5 カスタムデータセットは、実世界のロボットごみ収集における一般化性能および耐障害性をどの程度向上させるか？

主な発見

• 提案されたシステムは、カスタムRGB-Dデータセットを用いて、屋内および屋外環境の両方で5種類の家庭ごみを効果的に検出し、セグメンテーションした。
• 深度データとインスタンスセグメンテーションの統合により、把持ポイント計算のための正確な3次元形状再構築が可能になった。
• 多様な照明条件および環境条件下でも堅牢な性能を示し、実世界応用の可能性を実証した。
• パラメータスタディにより、検出mAPおよび把持成功率を向上させる最適なネットワーク設定が同定された。
• 計算された3次元把持ポイントに基づき、2本指グリッパーを備えたロボットアームが、さまざまなごみタイプを確実に把持できるようになった。
• 本研究で作成されたデータセットは公開されており、将来的なロボットごみ処理分野の研究を支援する。