[논문 리뷰] FlingBot: The Unreasonable Effectiveness of Dynamic Manipulation for Cloth Unfolding

Huy Ha, Shuran Song|arXiv (Cornell University)|2021. 05. 08.

Robot Manipulation and Learning참고 문헌 25인용 수 41

한 줄 요약

FlingBot은 dual-arm 고속 동적 플링 프리미티브를 통해 직선적으로 펼치기(quasi-static) 방법보다 천을 더 효율적으로 펼칠 수 있음을 보여주며, 대형 또는 보지 못한 천 유형과 실제 세계로의 이식이 가능하다.

ABSTRACT

High-velocity dynamic actions (e.g., fling or throw) play a crucial role in our everyday interaction with deformable objects by improving our efficiency and effectively expanding our physical reach range. Yet, most prior works have tackled cloth manipulation using exclusively single-arm quasi-static actions, which requires a large number of interactions for challenging initial cloth configurations and strictly limits the maximum cloth size by the robot's reach range. In this work, we demonstrate the effectiveness of dynamic flinging actions for cloth unfolding with our proposed self-supervised learning framework, FlingBot. Our approach learns how to unfold a piece of fabric from arbitrary initial configurations using a pick, stretch, and fling primitive for a dual-arm setup from visual observations. The final system achieves over 80% coverage within 3 actions on novel cloths, can unfold cloths larger than the system's reach range, and generalizes to T-shirts despite being trained on only rectangular cloths. We also finetuned FlingBot on a real-world dual-arm robot platform, where it increased the cloth coverage over 4 times more than the quasi-static baseline did. The simplicity of FlingBot combined with its superior performance over quasi-static baselines demonstrates the effectiveness of dynamic actions for deformable object manipulation.

연구 동기 및 목표

• 변형 가능한 천을 더 효율적으로, 로봇의 도달 범위를 넘어 펼치기 위해 고속 동적 행동의 사용을 촉진한다.
• 두 팔 플링에서 천의 덮개를 최대화하도록 어디를 잡을지 학습하는 자기지도 학습 프레임워크(FlingBot)를 개발한다.
• 훈련 데이터 범위를 넘어 다양한 천 유형과 크기에 일반화됨을 시연한다, 팔 도달 범위를 넘는 천이나 티셔츠를 포함하여.
• 실제 이중 팔 로봇에서 미세 조정하고 검증하여 준정적 기초 방법과 비교한다.

제안 방법

• 천 펼치를 위한 두 팔의 pick, stretch, and fling 프리미티브를 제안한다.
• 도달성 및 충돌 제약을 만족시키기 위해 중심 C, 각도 theta, 폭 w의 네 스칼라 표현으로 이중 팔 그립을 매개변수화한다.
• 평면 공간 액션 맵을 사용하여 평면의 포인트별 가치 맵을 예측하고, 평행 이동, 회전, 규모에 불변하도록 한다.
• 행동 후 델타 커버리지(천 커버리지의 변화)를 회귀시키며 자기지도 시뮬레이션에서 가치 네트워크를 훈련한다.
• 학습된 정책을 실제 이중 팔 UR5 설정에서 미세 조정하고 천 커버리지 개선을 평가한다.
• 천 적재를 위한 PyFlex 기반의 맞춤 시뮬레이터와 탑다운 RGB 관측 파이프라인을 제공한다.

실험 결과

연구 질문

• RQ1 이중 팔 설정에서의 동적 플링 동작이 준정적 방법보다 심하게 구겨진 천을 더 효율적으로 펼칠 수 있는가?
• RQ2 두 팔 플링 그립은 직사각형 천과 셔츠 등 다양한 천 유형에 일반화되고 로봇의 원래 작업 공간을 넘어선 도달이 가능한가?
• RQ3 시각 입력으로부터의 자기지도 학습이 전문가 시연 없이도 효과적인 플링 그립 지점을 학습하기에 충분한가?
• RQ4 실세계 미세 조정이 시뮬레이션 전용 학습에 비해 성능에 어떤 영향을 미치는가?

주요 결과

• FlingBot은 시뮬레이션에서 새로운 천에 대해 3번의 동작 이내에 80% 이상 천 커버리지를 달성한다.
• Normal Rect 천에서의 시뮬레이션에서 FlingBot은 준정적 베이스라인보다 앞서며 최종 커버리지를 베이스라인 대비 63.1 포인트 증가시키고 베이스라인은 약 24–29포인트 증가에 그친다(표 데이터에서 근사).
• FlingBot은 Large Rect 및 Shirt 천에서도 높은 성능을 유지하며 보지 않은 기하학적 형태에 대한 강한 일반화를 보인다.
• 실세계 테스트에서 FlingBot은 천 유형에 걸쳐 80% 이상 커버리지를 달성하고 미세 조정 후 준정적 픽 앤 플레이스 베이스라인 대비 상대적으로 40% 이상 향상된다.
• FlingBot은 로봇의 초기 도달 범위를 넘는 천 펼치를 가능하게 하여 효과적 도달 범위를 크게 확장한다.
• 저자는 오픈 소스 시뮬레이터와 실험 재현 안내를 제공한다.