[논문 리뷰] SoftZoo: A Soft Robot Co-design Benchmark For Locomotion In Diverse Environments

Tsun-Hsuan Wang, Pingchuan Ma외 6명|arXiv (Cornell University)|2023. 03. 16.

Modular Robots and Swarm Intelligence인용 수 4

한 줄 요약

SoftZoo는 빙하, 사막, 습지, 물과 같은 다양한 환경에서 연성 로봇의 형태와 제어를 함께 최적화하기 위한 유연한, 물리 기반의 미분 가능 기준 평가 플랫폼이다. 이 플랫폼은 설계 표현 방식, 환경-로봇 상호작용, 기울기 기반 최적화의 체계적 연구를 가능하게 하며, 미분 가능한 물리학이 공동 설계 효율성을 크게 향상시키고 근육 형성 및 제어기 합성에서의 핵심 상충 관계를 드러낸다.

ABSTRACT

While significant research progress has been made in robot learning for control, unique challenges arise when simultaneously co-optimizing morphology. Existing work has typically been tailored for particular environments or representations. In order to more fully understand inherent design and performance tradeoffs and accelerate the development of new breeds of soft robots, a comprehensive virtual platform with well-established tasks, environments, and evaluation metrics is needed. In this work, we introduce SoftZoo, a soft robot co-design platform for locomotion in diverse environments. SoftZoo supports an extensive, naturally-inspired material set, including the ability to simulate environments such as flat ground, desert, wetland, clay, ice, snow, shallow water, and ocean. Further, it provides a variety of tasks relevant for soft robotics, including fast locomotion, agile turning, and path following, as well as differentiable design representations for morphology and control. Combined, these elements form a feature-rich platform for analysis and development of soft robot co-design algorithms. We benchmark prevalent representations and co-design algorithms, and shed light on 1) the interplay between environment, morphology, and behavior; 2) the importance of design space representations; 3) the ambiguity in muscle formation and controller synthesis; and 4) the value of differentiable physics. We envision that SoftZoo will serve as a standard platform and template an approach toward the development of novel representations and algorithms for co-designing soft robots' behavioral and morphological intelligence.

연구 동기 및 목표

• 형태와 제어를 동시에 최적화하는 데 있어 종합적이고 표준화된 플랫폼의 부족을 해결한다.
• 이동 과제에서 환경, 로봇 설계, 제어 정책 간의 상호작용 방식을 체계적으로 연구할 수 있도록 한다.
• 기울기 기반 공동 설계 알고리즘의 개발을 가속화하기 위한 통합된, 미분 가능한 시뮬레이션 프레임워크를 제공한다.
• 다양한 설계 표현 방식과 공동 설계 알고리즘을 평가하여 핵심 성능 요소와 실패 모드를 규명한다.
• 표준화된 평가 지표와 환경를 기반으로 향후 연성로봇 분야의 형태적 및 행동지능 연구의 기반을 마련한다.

제안 방법

• 물질점 방법(MPM) 기반의 미분 가능한 다물리학 엔진을 도입하여 빙하, 점토,积 snow, 물과 같은 복잡하고 천연적으로 영감을 받은 환경을 시뮬레이션한다.
• 다양한 로봇 설계 표현 방식을 지원: 기하학에 대한 SDF-Lerp와 워샤르슈타인 바리센터, 형태 기하 원소 간의 워샤르슈타인 거리 기반으로 형태 조합 계수를 정의한다.
• 물리 엔진을 통해 기울기를 제공함으로써 제어 및 형태 최적화를 미분 가능하게 하여 엔드 투 엔드 역전파를 가능하게 한다.
• 빠른 이동, 민첩한 회전, 속도 추적, 경로 추종과 같은 이동 과제의 세트를 정의하며, 각 과제에 대해 환경별 보상 함수를 설정한다.
• 박쥐, 나비, 물고기, 판다 등의 생물학적으로 영감을 받은 설계를 초기 형태로 사용하여 다양한 환경에서 성능을 평가한다.
• 강화학습(PPO)과 기울기 기반 탐색을 통한 미분 가능한 물리학 최적화를 활용하며, 5개의 랜덤 시드에서 성능을 비교한다.

Figure 1: An overview of SoftZoo with demonstration of various biologically-inspired designs.

실험 결과

연구 질문

• RQ1 다양한 설계 표현 방식(SDF-Lerp 대비 워샤르슈타인 바리센터 등)이 공동 설계된 연성 로봇의 성능과 안정성에 어떤 영향을 미치는가?
• RQ2 비미분 가능한 또는 단순화된 물리학과 비교할 때, 미분 가능한 물리학이 공동 설계 알고리즘의 효율성과 효과성에 어떤 영향을 미치는가?
• RQ3 환경 특성(예: 빙하 대비 습지)이 이동 과제에서 최적의 형태와 제어 정책에 어떤 영향을 미치는가?
• RQ4 근육 형성과 제어기 합성의 모호성은 어느 정도이며, 이러한 모호성이 최적화 결과에 어떤 영향을 미치는가?
• RQ5 기울기 기반 공동 설계 방법이 실패하는 상황는 언제이며, 기울기 없는 방법(예: 강화학습)과 비교해 어떤 실패 유형을 보이는가?

주요 결과

• 미분 가능한 물리학은 복잡한 환경(예: 습지, 눈)에서 더 빠른 수렴과 향상된 성능을 가능하게 하며, 기울기 기반 방법이 샘플 효율성에서 강화학습을 능가함을 입증한다.
• 워샤르슈타인 바리센터 표현 방식은 SDF-Lerp보다 체적 보존 성능이 뛰어나 다양한 지형에서 더 안정적이고 높은 성능의 설계를 이끈다.
• 경로 추종 과제에서는 미분 가능한 물리학을 적용한 강화학습이 기준 방법보다 높은 성공률(예: 얕은 물에서 물고기의 경우 0.714 ± 0.072)을 기록하여 환경 변화에 대한 강건성을 입증한다.
• 기울기 기반 공동 설계는 고비선형성 또는 불연속성이 높은 환경(예: 빙하, 점토)에서는 실패하며, 작은 변형에도 성능이 급격히 떨어져 물리 모델의 정밀도 민감도를 보여준다.
• 근육 형성의 모호성이 드러났다: 서로 다른 근육 배치가 유사한 성능을 보였으며, 이는 설계 공간이 매우 비유일적이며 철저한 정규화가 필요함을 시사한다.
• 민첩한 회전 과제에서 물고기 및 나방 설계가 얕은 물에서 최고 성능(각각 0.358 ± 0.024)을 기록하여 유체성 환경에서 이동성 향상에 있어 몸체 형태와 근육 레이아웃의 중요성을 입증한다.

Figure 2: Unique motions arising from morphology and environment to achieve locomotion.