[논문 리뷰] DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative Diffusion Models

Tsun-Hsuan Wang, Juntian Zheng외 7명|arXiv (Cornell University)|2023. 11. 28.

Lattice Boltzmann Simulation Studies인용 수 4

한 줄 요약

DiffuseBot는 유연한 로봇의 형태와 제어를 공동 설계하기 위해 미분 가능 물리 시뮬레이션을 확산 과정에 통합한 물리적 증강 확산 모델을 도입한다. 이는 임베딩 최적화와 공동 설계 기울기 기반으로 임무 중심의 고성능 로봇 생성을 가능하게 하며, 다양한 이동 및 운반 임무에서 시뮬레이션 및 3D 프린팅을 통한 물리적 로봇을 구현하여 기존 기준 대비 뛰어난 성능을 보여준다.

ABSTRACT

Nature evolves creatures with a high complexity of morphological and behavioral intelligence, meanwhile computational methods lag in approaching that diversity and efficacy. Co-optimization of artificial creatures' morphology and control in silico shows promise for applications in physical soft robotics and virtual character creation; such approaches, however, require developing new learning algorithms that can reason about function atop pure structure. In this paper, we present DiffuseBot, a physics-augmented diffusion model that generates soft robot morphologies capable of excelling in a wide spectrum of tasks. DiffuseBot bridges the gap between virtually generated content and physical utility by (i) augmenting the diffusion process with a physical dynamical simulation which provides a certificate of performance, and (ii) introducing a co-design procedure that jointly optimizes physical design and control by leveraging information about physical sensitivities from differentiable simulation. We showcase a range of simulated and fabricated robots along with their capabilities. Check our website at https://diffusebot.github.io/

연구 동기 및 목표

• 형태적·행동적으로 지능적인 유연한 로봇 설계에서 자연적 진화의 복잡성과 현재의 계산적 방법 간 격차를 해소하기 위해.
• 기존의 생성 모델이 사이버물리 시스템 설계에서 물리적 추론과 임무 일치성 부족이라는 한계를 초월하기 위해.
• 높은 성능을 보이는 설계의 대규모 정제된 데이터셋이 필요 없이도 자동으로 고수준의 功能 사양 기반의 유연한 로봇 설계를 가능하게 하기 위해.
• 물리적 시뮬레이션을 생성 파이프라인에 통합하여 가상의 생성 콘텐츠와 실제 유용성 간 격차를 메우기 위해.
• 3D 프린팅을 통한 생성 설계의 물리적 실현 가능성을 입증함으로써 종단 간 AI 기반 로봇 설계를 구현하기 위해.

제안 방법

• 노이즈에서 일관된 유연한 로봇 기하구조를 생성하기 위해 사전 학습된 3D 확산 모델(예: Point-E)을 기반 분포로 사용한다.
• 원시 3D 기하구조를 파arameterized 액추에이터 배치와 재료 강성을 갖춘 물리 시뮬레이션 가능 표현으로 변환하는 '로봇화' 모듈을 도입한다.
• 시뮬레이터 피드백에 기반해 조건부 임베딩(텍스트 또는 이미지)을 반복적으로 최적화하여 더 높은 성능의 로봇 설계로 방향을 조정한다.
• 미분 가능 물리 시뮬레이션을 활용해 형태 및 제어 파rameter에 대한 물리적 성능 기울기를 계산함으로써 형태와 제어의 공동 최적화를 가능하게 한다.
• 공동 설계 기울기를 통합하여 확산 샘플링 과정을 재구성함으로써 시뮬레이터를 통해 역전파를 통해 동시에 구조와 제어를 최적화할 수 있도록 한다.
• CLIP 기반 임베딩을 통해 다중 모odal 조건부 설정(텍스트, 이미지 또는 기타 모odal)을 지원함으로써 다양한 의미 기반 유연한 로봇 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확산 기반 생성 모델이 물리 시뮬레이션으로 효과적으로 증강될 수 있는가? 이는 형태적으로 일관되면서도 물리적으로 고성능인 유연한 로봇을 생성할 수 있는가?
• RQ2 높은 성능의 로봇 설계를 정제한 대규모 데이터셋에 의존하지 않고도 특정 기능 임무로 유연한 로봇 설계를 유도할 수 있는가?
• RQ3 미분 가능 물리 시뮬레이션을 얼마나 효과적으로 확산 샘플링 과정에 통합하여 형태와 제어를 하나의 종단 간 파이프라인에서 공동 최적화할 수 있는가?
• RQ4 제안된 방법이 시뮬레이션에서 뛰어난 성능을 보이는 동시에 실제 세계에서 물리적으로 실현 가능하고 기능적인 로봇 설계를 생성할 수 있는가?
• RQ5 CLIP 임베딩을 통한 의미적 또는 시각적 조건부 설정이 생성된 로봇 설계의 다양성과 임무 일치성에 어떤 영향을 미치는가?

주요 결과

• DiffuseBot은 균형 잡기, 착륙, 크롤링, 장애물 넘기, 쥐기, 물체 조작 등의 다양한 임무를 수행할 수 있는 새로운 형태의 유연한 로봇 설계를 성공적으로 생성한다.
• 형태 및 제어 양측에 대한 물리 기반 최적화 덕분에 시뮬레이션에서 기존 기준 대비 뛰어난 성능을 달성하며, 임무 성공률이 향상된다.
• 종단 간 AI 기반 설계를 실현하였으며, 생성된 로봇의 3D 프린팅 및 물리적 테스트 성공을 통해 물리적 실현 가능성을 검증하였다.
• 임베딩 최적화가 시뮬레이터 기반 성능 지표로 측정된 바, 생성된 로봇의 고수준 기능 사양과의 일치도를 크게 향상시켰다.
• 확산 과정에 미분 가능 물리 시뮬레이션을 통합함으로써 효과적인 기울기 기반 공동 설계가 가능해졌으며, 형태와 제어를 별도로 최적화하는 방법보다 뛰어난 성능을 보였다.
• CLIP 임베딩을 통한 다중 모달 조건부 설정(텍스트 및 이미지)을 지원하여 의미 기반의 민첩한 로봇 생성이 가능해졌으며, 물리적 타당성과 성능을 유지하였다.