[論文レビュー] Object Detection Using Sim2Real Domain Randomization for Robotic Applications

Dániel Horváth, Gábor Erdős+3 more|arXiv (Cornell University)|Aug 8, 2022

Advanced Image and Video Retrieval Techniques被引用数 9

ひとこと要約

本論文は、ロボット工学における物体検出のためのシミュレーションから実世界へのドメインランダマイゼーション手法を提案し、合成データと1枚の実画像のみを用いてゼロショットおよびワンショットの転移学習を可能にした。広範なドメインランダマイゼーション（ランダムなテクスチャ、後処理、物理ベースのシミュレーションを含む）を適用することで、実世界の産業用データセットにおいて86.32%のmAP50（ゼロショット）および97.38%のmAP50（ワンショット）を達成し、最小限の実データアノテーションでリアルタイムかつ信頼性の高い物体検出を実現した。

ABSTRACT

Robots working in unstructured environments must be capable of sensing and interpreting their surroundings. One of the main obstacles of deep-learning-based models in the field of robotics is the lack of domain-specific labeled data for different industrial applications. In this article, we propose a sim2real transfer learning method based on domain randomization for object detection with which labeled synthetic datasets of arbitrary size and object types can be automatically generated. Subsequently, a state-of-the-art convolutional neural network, YOLOv4, is trained to detect the different types of industrial objects. With the proposed domain randomization method, we could shrink the reality gap to a satisfactory level, achieving 86.32% and 97.38% mAP50 scores, respectively, in the case of zero-shot and one-shot transfers, on our manually annotated dataset containing 190 real images. Our solution fits for industrial use as the data generation process takes less than 0.5 s per image and the training lasts only around 12 h, on a GeForce RTX 2080 Ti GPU. Furthermore, it can reliably differentiate similar classes of objects by having access to only one real image for training. To our best knowledge, this is the only work thus far satisfying these constraints.

研究の動機と目的

• 産業用ロボット分野における深層学習モデルの学習に必要なドメイン特化型で熟練者によるアノテーションが施された実世界データの不足という課題に対処する。
• 構造的でない産業環境における物体検出のゼロショットおよびワンショット転移学習を、最小限の実データ要件で可能にする。
• 任意のサイズと物体タイプの合成データセットを自動で生成するスケーラブルで自動化されたパイプラインを開発し、高価な実世界データ収集への依存を低減する。
• 照明条件の変化や不要な干渉要因の影響を受けても、ロボットアプリケーションへの実装に耐えうるリアルタイム性能と耐障害性を確保する。
• 最小限の実世界データに限定された状況下でも、信頼性の高い局在化とグリッピングポーズ推定を実現する実ロボットピックアンドプレースシステムへの応用を示す。

提案手法

• ランダムに変化する物体テクスチャ、照明、背景のバリエーションを備えたシミュレーションフレームワークを用いて、大規模な合成データセットを自動生成する。
• ドメインランダマイゼーション技術を適用し、ランダムなテクスチャの適用、後処理の増強（例：ぼかし、ノイズ）、カメラパラメータのランダム化により、シミュレーションから実世界へのドメインギャップを低減する。
• 重力やランダムな初期物体配置を含む、現実的な物理的条件をシミュレーションに組み込むことで、一般化性能を向上させる。
• ごみだらけのシーンでも検出の耐障害性を高めるために、すべての点をカバーするボクシングボックス計算手法を採用する。
• ランダム化された合成データ上でYOLOv4ベースの物体検出器を学習し、ワンショット設定では1枚の実画像でのファインチューニングを実施する。
• PCAとカメラキャリブレーションを用いたリアルタイム推論とポーズ推定を実現するため、ROSベースのロボット制御フレームワークに訓練済みモデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 ドメインランダマイゼーションが、1枚の実画像でのファインチューニングのみで高精度な物体検出を可能にするほど、シミュレーションから実世界へのドメインギャップを十分に低減できるか？
• RQ2 提案手法のドメインランダマイゼーションパイプラインは、産業用物体検出におけるゼロショットおよびワンショット転移学習をどの程度効果的に可能にするか？
• RQ3 テクスチャ、後処理、物理シミュレーションといった特定のランダマイゼーション要素が、モデルの一般化性能にどの程度寄与しているか？
• RQ4 本手法は、照明条件の変化やごみの多い環境下でも、実ロボットシステムにおいてリアルタイム推論と信頼性の高い検出を達成できるか？
• RQ5 限定的な実世界データに限定された状況下で、本手法は既存のアプローチと比較してmAP50性能でどの程度優れているか？

主な発見

• 提案されたシミュレーションから実世界へのドメインランダマイゼーション手法は、合成データのみで86.32%のmAP50を達成し、強力な一般化性能を示した。
• 1枚の実画像でのファインチューニングのみで、モデルは97.38%のmAP50に到達し、同様のデータ制約下で既存の手法を著しく上回った。
• アブレーションスタディの結果、後処理のドメインランダマイゼーションとランダムなテクスチャ適用が、ドメインシフトに起因する性能低下を低減する上で極めて重要であることが確認された。
• 物理ベースのシミュレーション（重力、ランダムな配置）とすべての点をカバーするボクシングボックス手法の導入により、検出の耐障害性と正確性が顕著に向上した。
• GeForce RTX 3060 GPU上で20 FPSのリアルタイム推論を達成し、照明条件の変化や干渉物体が存在する状況下でも信頼性の高い物体検出と局在化が可能となった。
• 本手法は実ロボットピックアンドプレースシステムに成功裏にデプロイされ、正確なポーズ推定と高信頼度の予測を伴うエンドツーエンドの機能を実証した。