[論文レビュー] Dataset of Industrial Metal Objects

Peter De Roovere, Steven Moonen+2 more|arXiv (Cornell University)|Aug 8, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

本論文では、対称的で模様のない、高反射性の産業用金属部品を対象としたDIMO（Industrial Metal Objectsのデータセット）を紹介する。このデータセットには、正確な6次元ポーズラベルが付与された、31,000枚以上の実世界の画像と553,800枚の合成マルチビューRGB画像が含まれる。データセットは、実際のロボットマルチビュー撮影と、照明、素材、シーン構成の制御された変化を加えた物理ベースのレンダリングを用いて生成されており、産業用ロボティクスにおける6次元オブジェクトポーズ推定のための強固なシミュレーションから実世界への転送を可能にする。

ABSTRACT

We present a diverse dataset of industrial metal objects. These objects are symmetric, textureless and highly reflective, leading to challenging conditions not captured in existing datasets. Our dataset contains both real-world and synthetic multi-view RGB images with 6D object pose labels. Real-world data is obtained by recording multi-view images of scenes with varying object shapes, materials, carriers, compositions and lighting conditions. This results in over 30,000 images, accurately labelled using a new public tool. Synthetic data is obtained by carefully simulating real-world conditions and varying them in a controlled and realistic way. This leads to over 500,000 synthetic images. The close correspondence between synthetic and real-world data, and controlled variations, will facilitate sim-to-real research. Our dataset's size and challenging nature will facilitate research on various computer vision tasks involving reflective materials. The dataset and accompanying resources are made available on the project website at https://pderoovere.github.io/dimo.

研究の動機と目的

• 対称的で模様のない、高反射性の産業用金属部品における6次元オブジェクトポーズ推定のための多様で現実的であるが、不足しているデータセットの問題を解決すること。
• 合成データと実世界データの間の類似性を高めることで、シミュレーションから実世界への転送のギャップを埋めること。
• ロボットによる操作のための反射性オブジェクト認識に関する研究を支援する大規模かつ正確にアノテーションが付与されたデータセットを提供すること。
• 合成データにおける環境要因（照明、構成、素材）の制御された変更を可能にし、モデルの汎化性能を向上させること。

提案手法

• 実世界のデータは、再現性0.1mmの高精度産業用ロボット（Fanuc M20ia）に取り付けられた複数のキャリブレート済みカメラ（RGB、グレースケール、LiDAR）を用いて収集された。
• 1シーンあたり13の異なるカメラ視点からマルチビュー画像が記録され、オブジェクトの形状、素材、キャリア、照明条件の変化を含むシーン構成が変化した。
• ChArUcoキャリブレーションとハンドエイドキャリブレーションを用いて、実世界の画像における6次元オブジェクトポーズを正確にアノテーションするための新しいオープンソースラベル付けツールを開発した。
• 物理ベースのレンダリングパイプラインを用いて合成データを生成し、実世界の条件を模倣した。これには、リアルな反射と、傷などの手続き的表面欠陓を含む。
• 照明（ライトマップ）、キャリア、オブジェクト構成（異種/同種）、カメラ視点を制御的に変更し、1つの実際のシーンあたり71の合成ビューを生成した。
• データセットは拡張されたBOPフォーマットに従い、オブジェクトのCADモデル（PLY）、カメラの内部パrameters/外部パrameters、6次元ポーズ（カメラ基準およびグローバルワールド基準）、データ生成条件のメタデータを格納している。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様な高反射性産業用金属部品のデータセットは、実世界のロボットアプリケーションにおける6次元オブジェクトポーズ推定モデルの汎化性能を向上させることができるか？
• RQ2 リアルな素材および照明シミュレーションを伴う制御された合成データ生成は、シミュレーションから実世界への転送におけるギャップをどの程度縮小するか？
• RQ3 シーン構成、照明、カメラ視点の変化が、模様のない高反射性オブジェクトの視覚的外観およびポーズ推定性能に与える影響はどのようなものか？
• RQ4 一貫したラベル付けとメタデータを備えた、実データと合成データを統合した統一データセットは、複数のコンピュータビジョンタスクにおける強固な学習と評価を可能にするか？

主な発見

• RGB、グレースケール、LiDARセンサを含む複数のカメラタイプを用いて、1シーンあたり13の視点から31,200枚以上の実世界画像が収集された。
• 照明、オブジェクト構成、カメラ視点の変更を制御した553,800枚以上の合成画像が生成され、実世界データと高い一致を示した。
• カメラ基準およびグローバルワールド基準の両方の参照フレームで6次元オブジェクトポーズのアノテーションが含まれており、複数の視点での一貫した評価が可能である。
• scene_info.jsonに格納されたメタデータにより、照明、キャリア、構成タイプ、視点に基づいた部分集合の作成が可能で、細分化された分析が可能である。
• 公式のプロジェクトウェブサイト、データ読み込みユーティリティ、再現性およびコミュニティ利用を目的とした新しいオープンソースラベル付けツールを含め、データセットは公開されている。