[논문 리뷰] ToolFlowNet: Robotic Manipulation with Tools via Predicting Tool Flow from Point Clouds

Daniel Seita, Yufei Wang외 4명|arXiv (Cornell University)|2022. 11. 16.

Robot Manipulation and Learning인용 수 7

한 줄 요약

이 논문은 3차원 도구의 흐름을 밀도 높은 점군 관측에서 예측하는 딥러닝 프레임워크인 ToolFlowNet을 제안한다. 이는 연속적인 변형 가능한 물체 작업에서의 로봇 도구 조작을 가능하게 한다. 각 점별 흐름 벡터를 회귀하고 이를 SE(3) 변환으로 변환함으로써, 물리적 숟가락질 시험에서 82%의 성공률을 기록하며, 공간적 및 시간적 행동 표현이 향상되어 비흐로우 기반 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Point clouds are a widely available and canonical data modality which convey the 3D geometry of a scene. Despite significant progress in classification and segmentation from point clouds, policy learning from such a modality remains challenging, and most prior works in imitation learning focus on learning policies from images or state information. In this paper, we propose a novel framework for learning policies from point clouds for robotic manipulation with tools. We use a novel neural network, ToolFlowNet, which predicts dense per-point flow on the tool that the robot controls, and then uses the flow to derive the transformation that the robot should execute. We apply this framework to imitation learning of challenging deformable object manipulation tasks with continuous movement of tools, including scooping and pouring, and demonstrate significantly improved performance over baselines which do not use flow. We perform 50 physical scooping experiments with ToolFlowNet and attain 82% scooping success. See https://tinyurl.com/toolflownet for supplementary material.

연구 동기 및 목표

• 원시 3차원 점군 관측에서 로봇 조작 정책을 학습하는 도전 과제를 해결하기 위해, 이미지나 상태 기반 방법에 비해 아직 탐색이 부족한 점군 기반 접근을 제안한다.
• 이미지 기반 방법의 한계(2차원 투영 손실 및 시뮬레이션에서 실제 환경으로의 격차)와 상태 기반 방법의 한계(변형 가능한 물체 상태 추정에 어려움)를 극복하기 위해 노력한다.
• 연속적인 조작 작업에서 정책 일반화를 향상시키기 위해 도구 상의 밀도 높은 각 점별 흐름을 사용한 새로운 행동 표현 방식을 도입한다.
• 특히 변형 가능한 물질(예: 액체)을 포함한 작업에서, 시뮬레이션과 실제 로봇 환경 모두에서 흐름 기반 정책 학습의 효과성을 입증한다.
• 실제 물리적 로봇(Sawyer)을 활용한 시험과 광범위한 분석 실험을 통해 프레임워크의 타당성을 검증한다.

제안 방법

• ToolFlowNet은 점군 처리 기반(예: PointNet++ 기반)을 사용하여 도구 상의 각 점별 3차원 흐름 벡터를 예측함으로써, 한 시점에서 다음 시점으로의 의도된 운동을 표현한다.
• 모델은 지도학습 기반 행동 복제를 통해 학습되며, 시연 트랙토리에서 유도된 진짜 흐름 벡터를 기반으로 하며, 특히 밀도 높은 각 점별 감독에 중점을 둔다.
• 예측된 흐름 벡터는 집계되어 SE(3) 변환(이동 및 회전)으로 변환되어 실행 가능한 로봇 동작을 생성한다.
• 저강도 운동으로 인한 끈적한 움직임을 방지하기 위해, 각 조합된 흐름 벡터가 1cm 이상의 크기를 갖도록 진짜 동작을 가변적으로 조합한다.
• 추론 파이프라인은 Python 3와 ZeroMQ(pyzmq)를 사용하여 로봇의 ROS 1 기반 CPU 전용 로컬 컴퓨터와 통신하는 원격 GPU 머신에서 실행된다.
• 이 프레임워크는 각 점별 출력을 생성하는 임의의 점군 아키텍처와 호환되며, 기존의 장면 흐름 추정 기법과 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 점군에서 유도된 밀도 높은 각 점별 흐름 예측이 로봇 도구 조작에 효과적인 행동 표현으로 기능할 수 있는가?
• RQ2 점군에서 유도된 흐름을 기반으로 학습하는 것이 직접 행동 회귀에 비해 연속적인 조작 작업에서 정책 일반화와 성공률 향상에 기여하는가?
• RQ3 흐름 기반 정책이 변형 가능한 물체(예: 액체)를 포함한 실제 로봇 작업에서 높은 성공률을 달성할 수 있는가?
• RQ4 저강도 운동에 대한 가변적 조합 기법이 정책 학습과 실제 성능에 어떤 영향을 미치는가?
• RQ5 이미지 기반 타도학습에 비해 ToolFlowNet은 시뮬레이션에서 실제 환경으로의 격차를 얼마나 줄이는가?

주요 결과

• 50회의 물리적 숟가락질 시험에서 ToolFlowNet은 82%의 성공률을 기록하여 뛰어난 실제 환경 일반화 능력과 강건성을 입증했다.
• 특히 연속적인 운동이 필요한 부어넣기 및 숟가락질 작업에서, 시뮬레이션 및 실제 환경 모두에서 비흐로우 기반 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 분석 실험 결과, 밀도 높은 각 점별 흐름 감독이 직접 행동 회귀보다 정책 학습에 더 우수한 성능을 보였으며, 특히 복잡한 3차원 조작 시나리오에서 유의미한 개선을 보였다.
• 가변적 조합 기법은 저강도 운동으로 인한 문제를 효과적으로 완화하여 실제 로봇 데이터 기반의 안정적이고 효과적인 정책 학습을 가능하게 했다.
• 시험 시험에서 프레임을 샘플링한 결과, 성공한 시험은 정확한 공의 위치 확인과 용기 위로의 제어된 올림을 포함한 반면, 실패는 주로 용기 벽과의 충돌로 인한 것이었다.
• 프로젝트 웹사이트의 영상 증거는 충돌 실패가 흔하며, 이는 도구 궤도가 잘못 정렬되어 발생함을 확인하며, 흐름 기반 공간 제어의 중요성을 강조한다.