[논문 리뷰] Untangling Dense Knots by Learning Task-Relevant Keypoints

Jennifer Grannen, Priya Sundaresan외 8명|arXiv (Cornell University)|2020. 11. 10.

Robot Manipulation and Learning참고 문헌 36인용 수 5

한 줄 요약

이 논문은 HULK을 제안하며, 작업에 관련된 키포인트(고정점과 당김점)를 감지하기 위해 시각적 인식을 사용하여 조임진 케이블의 난이도 높은 난이 풀리는 로봇 정책을 학습 기반으로 개발한다. 이는 전체 상태 추정이나 참값 세그멘테이션에 의존하지 않으며, 물리 실험에서 61.7%의 성공률과 시뮬레이션에서 97.9%의 성공률을 기록하여, 기존의 기준보다 43.3% 높은 성공률을 달성한다.

ABSTRACT

Untangling ropes, wires, and cables is a challenging task for robots due to the high-dimensional configuration space, visual homogeneity, self-occlusions, and complex dynamics. We consider dense (tight) knots that lack space between self-intersections and present an iterative approach that uses learned geometric structure in configurations. We instantiate this into an algorithm, HULK: Hierarchical Untangling from Learned Keypoints, which combines learning-based perception with a geometric planner into a policy that guides a bilateral robot to untangle knots. To evaluate the policy, we perform experiments both in a novel simulation environment modelling cables with varied knot types and textures and in a physical system using the da Vinci surgical robot. We find that HULK is able to untangle cables with dense figure-eight and overhand knots and generalize to varied textures and appearances. We compare two variants of HULK to three baselines and observe that HULK achieves 43.3% higher success rates on a physical system compared to the next best baseline. HULK successfully untangles a cable from a dense initial configuration containing up to two overhand and figure-eight knots in 97.9% of 378 simulation experiments with an average of 12.1 actions per trial. In physical experiments, HULK achieves 61.7% untangling success, averaging 8.48 actions per trial. Supplementary material, code, and videos can be found at https://tinyurl.com/y3a88ycu.

연구 동기 및 목표

• 자기 겹침과 시각적 동질성이 상태 추정을 어렵게 하는 조임진 케이블을 풀어내는 과제를 해결한다.
• 고차원적이고 시각적으로 동질적인 케이블 구성을 가진 상황에서 전체 상태 추정의 한계를 극복하기 위해, 작업에 관련된 키포인트에 집중함으로써 이를 대체한다.
• 참값 세그멘테이션이나 전체 구성 추적 없이도 다양한 케이블 질감과 난이도 유형에 일반화되는 정책을 개발한다.
• 시각 입력에서 키포인트 검출을 학습함으로써 전체 상태 정보가 더 많은 기준보다 적은 동작 수로 효율적인 풀이가 가능함을 보여준다.
• da Vinci 수술 로봇을 사용하여 시뮬레이션과 물리 실험 모두에서 방법을 검증함으로써, 실제 세계의 동역학과 인식 오류에 대한 강건성을 입증한다.

제안 방법

• 다른 케이블 그래프에 대해 knot 이론적 이동(Reidemeister 및 노드 삭제)을 적용하여 교차를 순차적으로 줄이는 기하 알고리즘인 BRUCE를 도입하여 느슨한 난이를 풀어낸다.
• RGB 이미지에서 작업에 관련된 두 개의 키포인트인 고정점(빨간색)과 당김점(초록색)을 검출하기 위해 딥 러닝 모델을 훈련시켜, 전체 케이블 상태 추정 없이도 동작 계획 수립을 가능하게 한다.
• 예측된 키포인트를 기반으로 계층적 정책을 구현한다: 먼저 자기 겹침을 줄이기 위해 Reidemeister 이동을 수행하고, 그 다음에 자기 교차를 제거하기 위해 노드 삭제 이동을 적용한다.
• 키포인트 예측이 동작 선택에 영향을 주는 폐쇄 루프 정책으로 감지와 계획을 통합하며, 로봇 실행의 실시간 피드백을 반영한다.
• 훈련 중에 BRUCE를 지도 신호로 활용하여 시뮬레이션에서 키포인트 레이블링을 위한 합성 데이터를 생성함으로써, 시각 입력에서부터 엔드 투 엔드 학습을 가능하게 한다.
• 다양한 난이도 유형, 질감, 탄성 특성을 갖춘 케이블 역학을 모델링하는 새로운 Blender 기반 시뮬레이터를 구현하여 데이터 효율적인 훈련과 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 기반 정책이 RGB 이미지에서만 작업에 관련된 키포인트를 검출하여 전체 상태 추정 없이 효과적인 풀이가 가능한가?
• RQ2 HULK은 훈련 중에 볼 수 없었던 새로운 케이블 질감과 난이도 구성에 일반화되는가? 특히 실제 세계의 동역학이 존재하는 물리 환경에서의 일반화 능력은 어떻게 되는가?
• RQ3 더 많은 상태 정보를 가진 기준보다 정보가 적은 인식 기반 정책이 참값 상태나 세그멘테이션에 접근할 수 있는 기준보다 더 높은 풀이 성공률을 달성할 수 있는가?
• RQ4 직렬화된 계획 전략(직선화 및 교차 감소 동작 조합)은 단순하거나 반응형 정책에 비해 효율성과 성공률을 어떻게 향상시키는가?
• RQ5 기계적 고장(예: 그립퍼 슬립, 케이블 제약)과 인식 오류(예: 경계 상자 검출에서의 거짓 음성)는 실제 구현에서 성능을 얼마나 제한하는가?

주요 결과

• HULK은 최대 두 개의 오버핸드 및 플라워티 형 난이를 가진 케이블에서 378회의 시뮬레이션 실험에서 97.9%의 성공률을 기록했으며, 평균 12.1회의 동작을 소비했다.
• 물리 실험에서 HULK은 da Vinci Research Kit를 사용하여 60개의 난이 케이블에서 61.7%의 성공률을 기록했으며, 성공한 시도당 평균 8.48회의 동작을 소비했다.
• HULK은 다음으로 성공률이 높은 기준보다 물리 실험 성공률에서 43.3% 높은 성능을 보였으며, 참값 상태에 접근할 수 있는 방법보다도 키포인트 검출을 학습하는 것이 더 뛰어난 성능을 낼 수 있음을 입증했다.
• HULK은 훈련 데이터에 포함되지 않은 구성, 특히 오버핸드 + 오버핸드 난이에 대해서도 일반화 성능을 보였다.
• 실패 원인은 주로 기계적 요인(예: 그립퍼 슬립, 케이블 제약) 또는 인식 관련 요인(예: 경계 상자 검출에서의 거짓 음성)이었으며, 잘못 예측된 동작은 비용이 덜 들었다.
• 이 방법은 시각적 변동성에 강건함을 보였으며, 다양한 질감과 외관을 가진 케이블을 성공적으로 풀었으며, 훈련 분포를 초월한 강력한 일반화 능력을 보였다.