[論文レビュー] SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal Instance Segmentation of Cluttered Tabletop Scenes

Zhili Ng, Haozhe Wang+3 more|arXiv (Cornell University)|Jul 14, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

SynTable は、NVIDIA の Isaac Sim Replicator Composer に基づく、Python で構築されたフォトリッチな合成データ生成パイプラインであり、ごみだらけのテーブルトップシーンにおける未学習オブジェクトのアモーダルインスタンスセグメンテーションのための高品質で完全にアノテートされたデータセットを自動的に生成する。手動ラベリングを排除し、アモーダルマスク、オクルージョン順序、深度マップなどの豊富なメタデータを提供することで、SynTable は Sim-to-Real 移行性能を顕著に向上させ、UOAIS-Net は SynTable で生成されたデータでトレーニングした際に OSD-Amodal ベンチマークで F@.75 87.0% およびオクルージョン順序精度 91.9% を達成した。

ABSTRACT

In this work, we present SynTable, a unified and flexible Python-based dataset generator built using NVIDIA's Isaac Sim Replicator Composer for generating high-quality synthetic datasets for unseen object amodal instance segmentation of cluttered tabletop scenes. Our dataset generation tool can render complex 3D scenes containing object meshes, materials, textures, lighting, and backgrounds. Metadata, such as modal and amodal instance segmentation masks, object amodal RGBA instances, occlusion masks, depth maps, bounding boxes, and material properties can be automatically generated to annotate the scene according to the users' requirements. Our tool eliminates the need for manual labeling in the dataset generation process while ensuring the quality and accuracy of the dataset. In this work, we discuss our design goals, framework architecture, and the performance of our tool. We demonstrate the use of a sample dataset generated using SynTable for training a state-of-the-art model, UOAIS-Net. Our state-of-the-art results show significantly improved performance in Sim-to-Real transfer when evaluated on the OSD-Amodal dataset. We offer this tool as an open-source, easy-to-use, photorealistic dataset generator for advancing research in deep learning and synthetic data generation. The links to our source code, demonstration video, and sample dataset can be found in the supplementary materials.

研究の動機と目的

• ごみだらけのテーブルトップシーンにおける未学習オブジェクトのアモーダルインスタンスセグメンテーション（UOAIS）のための、大規模で高品質なデータセットの不足に対処すること。
• アモーダルマスクの手動ラベリングには時間がかかり、主観的で誤りの多いという限界を克服すること。
• フォトリッチな合成データと正確な自動アノテーションを生成することで、Sim-to-Real のドメインギャップを低減すること。
• ロボティクス分野におけるディープラーニングのための、包括的かつカスタマイズ可能な豊富なメタデータを備えた、統合的で柔軟でオープンソースのツールを提供すること。
• より良いトレーニングデータを通じて、ロボットのグリッピングシステムにおけるアモーダルコンプリートとオクルージョン推論の性能を向上させること。

提案手法

• パイプラインは、フォトリッチなテクスチャ、照明、オブジェクトメッシュを備えた複雑な 3D テーブルトップシーンをレンダリングするために NVIDIA の Isaac Sim Replicator Composer を使用する。
• アモーダルおよび可視インスタンスセグメンテーションマスク、オクルージョンマスク、深度マップ、バウンディングボックス、素材特性を含む、グランドトゥルースのアノテーションを自動生成する。
• 柔軟な Python ベースのインターフェースを通じて、シーン構成、オブジェクトタイプ、必要なアノテーションをユーザーがカスタマイズできる。
• ドメインランダマイゼーションと高精度なレンダリングを統合することで、ドメインシフトを最小限に抑え、Sim-to-Real の一般化性能を向上させる。
• オブジェクト同士のオクルージョン関係を捉えるために、新規のオクルージョン順序アドジェセンシーマトリクスを生成する。
• UOAIS-Net などの最先端モデルのトレーニングに適した、出力フォーマットをカスタマイズ可能なエンドツーエンドのデータセット生成をサポートする。

実験結果

リサーチクエスチョン

• RQ1 合成データ生成パイプラインは、手動ラベリングを一切行わず、フォトリッチで完全にアノテートされた UOAIS 用データセットを生成できるか？
• RQ2 SynTable で生成された合成データは、アモーダルインスタンスセグメンテーションモデルの Sim-to-Real 移行性能をどの程度向上させるか？
• RQ3 オクルージョン順序アノテーションの追加が、ごみだらけのシーンにおけるアモーダルセグメンテーションモデルの性能に与える影響は何か？
• RQ4 SynTable は、オクルージョン推論およびマスク予測精度の面で、既存の合成ベンチマークを上回るデータセットを生成できるか？
• RQ5 ドメインランダマイゼーションとフォトリッチネスが、SynTable で生成されたデータでトレーニングされた UOAIS-Net の一般化性能に与える影響は何か？

主な発見

• UOAIS-Net が SynTable で生成されたデータでトレーニングした場合、OSD-Amodal ベンチマークで F@.75 87.0% を達成し、UOAIS-Sim データセットでトレーニングした場合の 80.4% に比べ顕著な向上を示した。
• UOAIS-Net のオクルージョン順序精度（$ACC_{OO}$）は、SynTable-Sim データでファインチューニングした際に 84.0% から 91.9% に上昇し、優れたオクルージョン推論能力を示した。
• SynTable で生成されたデータは、アモーダルマスクの境界 F-measure を UOAIS-Sim と比較して 50.3% から 53.7% に、可視マスクでは 50.0% から 53.7% に向上させた。
• SynTable-Sim でトレーニングしたモデルは、SynTable-Sim のバリデーションセットで、アモーダルマスクのオーバーラップ F-measure が 86.2%、可視マスクでは 80.1% を達成し、UOAIS-Sim ベースラインを上回った。
• SynTable はドメインギャップを低減し、UOAIS-Net が現実世界のシーンにうまく一般化できるようにした。これは、オクルージョン順序精度が 6.6% の絶対的向上を示している。
• パイプラインは手動ラベリングを完全に排除したが、精度、再現率、F-measure のメトリクスに一貫した改善が見られ、高品質なアノテーションを確保した。