[논문 리뷰] DALL-E-Bot: Introducing Web-Scale Diffusion Models to Robotics

Ivan Kapelyukh, Vitalis Vosylius외 1명|arXiv (Cornell University)|2022. 10. 05.

Topic Modeling인용 수 8

한 줄 요약

DALL-E-Bot는 DALL-E와 같은 웹 스케일의 확산 모델을 사용하여 자연어 기반 설명으로 인간처럼 배열된 물체를 생성함으로써, 훈련 또는 시연 없이도 영구적인, 개방형 도메인의 로봇 작업을 수행하는 제로샷, 오픈세트 로봇 프레임워크를 제안한다. 물체 정체성을 추론하고, 텍스트 조건부 생성을 통해 목표 이미지를 생성하며, CLIP과 ICP를 통해 실제 세계의 자세에 정렬함으로써, 학습 없이도 자율적이고 고정도의 재배열을 달성한다.

ABSTRACT

We introduce the first work to explore web-scale diffusion models for robotics. DALL-E-Bot enables a robot to rearrange objects in a scene, by first inferring a text description of those objects, then generating an image representing a natural, human-like arrangement of those objects, and finally physically arranging the objects according to that goal image. We show that this is possible zero-shot using DALL-E, without needing any further example arrangements, data collection, or training. DALL-E-Bot is fully autonomous and is not restricted to a pre-defined set of objects or scenes, thanks to DALL-E's web-scale pre-training. Encouraging real-world results, with both human studies and objective metrics, show that integrating web-scale diffusion models into robotics pipelines is a promising direction for scalable, unsupervised robot learning.

연구 동기 및 목표

• 사전 훈련된 확산 모델을 사용하여 비정형 환경에서 제로샷, 오픈세트 물체 재배열을 가능하게 한다.
• 실제 환경의 장면과 확산 모델이 생성한 이미지 사이의 도메인 갭을 해소하여 정확한 로봇 실행을 가능하게 한다.
• 사전에 놓인 물체를 조건으로 삼는 인painting을 활용하여 인간-로봇 협업 재배열을 지원한다.
• 객관적 지표와 인간 연구를 모두 활용하여 방법을 평가하고, 일상적인 작업으로의 일반화 능력을 입증한다.
• 비용이 많이 드는 데이터 수집이나 미세조정을 피하는 스케일 수 있는 비지도 학습 파이프라인을 구축한다.

제안 방법

• 시스템은 RGB 입력에서 물체 검출 및 분할을 수행하여 물체 중심의 장면 표현을 생성한다.
• 검출된 물체를 기술하는 텍스트 프롬프트를 DALL-E에 입력하여 자연스럽고 인간처럼 배열된 목표 이미지를 생성한다.
• CLIP 특징 기반의 크로스 인스턴스 허그리안 매칭을 통해 실제 세계와 생성된 물체를 도메인 간에 정렬한다.
• 인스턴스 분할 마스크에 대한 ICP 정렬을 통해 3D 자세 추정을 정밀화하고, 의미적 특징 맵에 대한 광학적 손실을 통해 정렬 정확도를 향상시킨다.
• 인페인팅을 사용하여 확산 모델을 사전에 놓인 물체에 조건화함으로써 협업형 재배열을 가능하게 한다.
• 생성 품질 향상과 확산 출력에서의 모드 붕괴 감소를 위해 샘플링 및 필터링 전략을 적용한다.

실험 결과

연구 질문

• RQ1 DALL-E와 같은 웹 스케일의 확산 모델을 사용하여, 미세조정이나 데이터 수집 없이 제로샷, 오픈세트 로봇 재배열을 수행할 수 있는가?
• RQ2 로봇이 도메인 갭을 넘어 확산 모델이 생성한 이미지를 실제 물체 자세에 얼마나 효과적으로 정렬할 수 있는가?
• RQ3 확산 모델에서의 인페인팅이 인간-로봇 물체 재배열을 얼마나 잘 지원하는가?
• RQ4 생성된 배열이 위치, 방향 및 미적 품질 측면에서 인간의 선호도와 비교해 어떻게 되는가?
• RQ5 이 방법은 다양한 비정형 실세계 장면과 물체 조합으로 일반화되는가?

주요 결과

• 포크의 경우 DALL-E-Bot는 중앙값 위치 오차 4.95 cm, 방향 오차 1.26°를 기록하여, 랜덤-비충돌 기반 베이스라인(Rand-No-Coll, 25.85 cm, 70.32°)과 기하학적 기반 베이스라인(Geometric, 15.59 cm, 40.57°)을 모두 초월했다.
• 접시의 경우 시스템은 위치 오차 1.28 cm, 방향 오차 0°를 기록하여, 랜덤-비충돌 기반 베이스라인의 10.78 cm 및 무한대 오차(기록 불가)에 비해 뚜렷한 우수성을 보였다.
• 3000명의 사용자 평가를 포함한 사용자 연구 결과, DALL-E-Bot가 생성한 배열은 히وري스틱 기반 베이스라인보다 인간의 선호도를 크게 상회했다.
• 이 방법은 사전에 놓인 물체를 조건으로 삼는 인페인팅을 성공적으로 활용하여 인간의 입력을 반영한 협업형 재배열을 가능하게 했다.
• 샘플링 및 필터링 전략은 생성 품질 향상과 이미지 생성 실패 사례 감소에 있어 경험적으로 핵심적인 역할을 했다.
• 이 프레임워크는 식탁, 사무실, 주방 등 다양한 실세계 재배열 작업에서 뛰어난 강건성을 보였다.