[논문 리뷰] SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal Instance Segmentation of Cluttered Tabletop Scenes

Zhili Ng, Haozhe Wang외 3명|arXiv (Cornell University)|2023. 07. 14.

Advanced Neural Network Applications인용 수 4

한 줄 요약

SynTable는 NVIDIA의 Isaac Sim Replicator Composer 기반으로 구축된 사진처럼 사실적인, Python 기반의 합성 데이터 생성 파이프라인으로, 혼잡한 테이블톱 환경에서의 새로운 객체에 대한 아모달 인스턴스 세그멘테이션을 위한 고품질, 완전히 애너테이션 처리된 데이터셋을 자동으로 생성한다. 수동 레이블링을 제거하고 아모달 마스크, 가림 순서, 깊이 맵과 같은 풍부한 메타데이터를 제공함으로써 SynTable는 시뮬레이션에서 실제 환경으로의 전이 성능을 크게 향상시키며, UOAIS-Net은 SynTable에서 생성된 데이터로 훈련했을 때 OSD-Amodal 벤치마크에서 F@.75 87.0% 및 가림 순서 정확도 91.9%를 달성한다.

ABSTRACT

In this work, we present SynTable, a unified and flexible Python-based dataset generator built using NVIDIA's Isaac Sim Replicator Composer for generating high-quality synthetic datasets for unseen object amodal instance segmentation of cluttered tabletop scenes. Our dataset generation tool can render complex 3D scenes containing object meshes, materials, textures, lighting, and backgrounds. Metadata, such as modal and amodal instance segmentation masks, object amodal RGBA instances, occlusion masks, depth maps, bounding boxes, and material properties can be automatically generated to annotate the scene according to the users' requirements. Our tool eliminates the need for manual labeling in the dataset generation process while ensuring the quality and accuracy of the dataset. In this work, we discuss our design goals, framework architecture, and the performance of our tool. We demonstrate the use of a sample dataset generated using SynTable for training a state-of-the-art model, UOAIS-Net. Our state-of-the-art results show significantly improved performance in Sim-to-Real transfer when evaluated on the OSD-Amodal dataset. We offer this tool as an open-source, easy-to-use, photorealistic dataset generator for advancing research in deep learning and synthetic data generation. The links to our source code, demonstration video, and sample dataset can be found in the supplementary materials.

연구 동기 및 목표

• 혼잡한 테이블톱 환경에서 새로운 객체에 대한 아모달 인스턴스 세그멘테이션(UOAIS)을 위한 대규모, 고품질 데이터셋의 부족을 해결하기 위해.
• 아모달 마스크에 대해 수동 애너테이션의 시간 소모성, 주관성, 오류 발생 가능성을 해결하기 위해.
• 사진처럼 사실적인 합성 데이터와 정확한 자동 애너테이션을 통해 시뮬레이션에서 실제 환경으로의 도메인 갭을 줄이기 위해.
• 로봇 공학 분야의 딥러닝을 위한 다양한 커스터마이징이 가능한 풍부한 메타데이터를 갖춘 통합적이고 유연하며 오픈소스 도구를 제공하기 위해.
• 더 나은 훈련 데이터를 통해 로봇 그립핑 시스템의 아모달 완성 및 가림 추론 성능을 향상시키기 위해.

제안 방법

• 파이프라인은 NVIDIA의 Isaac Sim Replicator Composer를 사용하여 사진처럼 사실적인 텍스처, 조명, 객체 메시를 갖춘 복잡한 3차원 테이블톱 환경을 렌더링한다.
• 자동으로 아모달 및 가시 인스턴스 세그멘테이션 마스크, 가림 마스크, 깊이 맵, 바운딩 박스, 재질 특성 등 정답 애너테이션을 생성한다.
• 사용자는 믹스드된 시나리오 구성, 객체 유형, 필요 애너테이션 등을 유연한 파이썬 기반 인터페이스를 통해 커스터마이징할 수 있다.
• 도메인 랜덤라이제이션과 고정밀 렌더링을 통합하여 도메인 시프트를 최소화하고 시뮬레이션에서 실제 환경으로의 일반화 성능을 향상시킨다.
• 새로운 가림 순서 인접 행렬이 개발되어 객체 간 가림 관계를 정확히 기록함으로써 혼잡한 환경에서의 더 나은 추론을 가능하게 한다.
• UOAIS-Net과 같은 최신 모델 훈련을 위한 구성 가능한 출력 형식을 지원하는 엔드 투 엔드 데이터셋 생성을 지원한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성 파이프라인이 수동 레이블링 없이 사진처럼 사실적인, 완전히 애너테이션 처리된 UOAIS 데이터셋을 생성할 수 있는가?
• RQ2 SynTable에서 생성된 합성 데이터는 아모달 인스턴스 세그멘테이션 모델의 시뮬레이션에서 실제 환경으로의 전이 성능을 어느 정도 향상시키는가?
• RQ3 가림 순서 애너테이션의 포함 여부가 혼잡한 환경에서 아모달 세그멘테이션 모델의 성능에 어떤 영향을 미치는가?
• RQ4 SynTable는 기존의 합성 벤치마크에 비해 가림 추론 및 마스크 예측 정확도 측면에서 더 나은 데이터셋을 생성할 수 있는가?
• RQ5 도메인 랜덤라이제이션과 사진처럼 사실적인 렌더링은 SynTable에서 생성된 데이터로 훈련된 UOAIS-Net의 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• SynTable에서 생성된 데이터로 훈련한 UOAIS-Net은 OSD-Amodal 벤치마크에서 F@.75 87.0%를 기록했으며, 이는 UOAIS-Sim 데이터셋으로 훈련했을 때의 80.4% F@.75보다 뚜렷한 향상이다.
• UOAIS-Net의 가림 순서 정확도($ACC_{OO}$)는 SynTable-Sim 데이터로 미세조정했을 때 84.0%에서 91.9%로 상승하여 우수한 가림 추론 능력을 보였다.
• UOAIS-Sim에 비해 SynTable에서 생성된 데이터로 훈련했을 때 아모달 마스크의 경계 F-측정값은 50.3%에서 53.7%로, 가시 마스크의 경우 50.0%에서 53.7%로 향상되었다.
• SynTable-Sim 데이터로 훈련한 모델은 SynTable-Sim 검증 세트에서 아모달 마스크의 오버랩 F-측정값이 86.2%로, 가시 마스크는 80.1%로 나타나 UOAIS-Sim 기준선을 초월했다.
• SynTable는 도메인 갭을 줄여 UOAIS-Net이 실제 환경에 더 잘 일반화되도록 했으며, 이는 가림 순서 정확도가 6.6%p 절대적으로 향상된 것으로 확인되었다.
• 파이프라인이 수동 레이블링을 완전히 제거하면서도 일관된 정밀도, 재현율, F-측정값 지표를 통해 높은 애너테이션 품질을 확보했다.