[논문 리뷰] Assistive Tele-op: Leveraging Transformers to Collect Robotic Task Demonstrations

Henry Clever, Ankur Handa외 8명|arXiv (Cornell University)|2021. 12. 09.

Social Robot Interaction and HRI인용 수 8

한 줄 요약

이 논문은 실시간으로 로봇 궤적을 예측하는 미세조정된 트랜스포머 모델을 사용하는 VR 기반 시스템인 Assistive Tele-op를 소개한다. 이 시스템을 통해 인간 운영자가 수동 제어 시간을 5배 줄이며 높은 성공률을 기록하는 로봇 작업 시연을 수집할 수 있다. 모델의 예측 동작이 부적절할 경우에만 개입할 수 있도록 하여, 7개의 다양한 조작 작업에서 96.1%의 성공률을 달성한다.

ABSTRACT

Sharing autonomy between robots and human operators could facilitate data collection of robotic task demonstrations to continuously improve learned models. Yet, the means to communicate intent and reason about the future are disparate between humans and robots. We present Assistive Tele-op, a virtual reality (VR) system for collecting robot task demonstrations that displays an autonomous trajectory forecast to communicate the robot's intent. As the robot moves, the user can switch between autonomous and manual control when desired. This allows users to collect task demonstrations with both a high success rate and with greater ease than manual teleoperation systems. Our system is powered by transformers, which can provide a window of potential states and actions far into the future -- with almost no added computation time. A key insight is that human intent can be injected at any location within the transformer sequence if the user decides that the model-predicted actions are inappropriate. At every time step, the user can (1) do nothing and allow autonomous operation to continue while observing the robot's future plan sequence, or (2) take over and momentarily prescribe a different set of actions to nudge the model back on track. We host the videos and other supplementary material at https://sites.google.com/view/assistive-teleop.

연구 동기 및 목표

• 대규모로 고품질의 로봇 작업 시연를 수집하는 데 필요한 노동과 시간을 줄이기 위해.
• 원격 조작 중 인간의 의도와 로봇 행동 간의 오해를 해결하기 위해.
• 사전 훈련된 트랜스포머를 활용해 다양한 조작 작업에 대해 소수의 샘플로도 효과적인 일반화를 가능하게 하기 위해.
• 실시간 궤적 예측과 인간의 감시를 VR 인터페이스에 통합하여 데이터 수집 효율성을 향상시키기 위해.
• 사용자 개입을 통해 모델 예측를 수정하고 향후 성능을 향상시킬 수 있도록 지속적 학습을 촉진하기 위해.

제안 방법

• 과거 상태와 동작의 시퀀스를 처리하기 위해 자기주의(self-attention)를 활용한 트랜스포머 모델을 사용하여 장기적인 궤적 예측을 가능하게 한다.
• 종단 효과기 공간 표현을 상태 및 동작 임bedding에 사용하여 다양한 로봇과 시뮬레이터 간의 전이를 가능하게 한다.
• 종단 효과기의 누적 유클리드 거리 기반으로 위치 임베딩을 적용하여 시간적 위치를 인코딩한다.
• 입력 시퀀스에 BERT 스타일의 제로 패딩을 적용하여 추가 계산 없이도 임의의 길이의 미래 동작 예측을 생성한다.
• 예측 정확도와 강건성을 향상시키기 위해 시나리오 내 물체 자세 상태에 보조 손실을 적용한다.
• 사용자가 로봇의 예측된 미래 동작을 관찰하고 필요할 경우에만 개입할 수 있도록 VR 원격 조작 인터페이스에 모델를 통합한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 트랜스포머가 새로운 로봇 조작 작업에 대해 소수의 샘플로 효과적으로 일반화될 수 있는가?
• RQ2 트랜스포머를 통한 실시간 궤적 예측이 인간-로봇 시연 수집의 효율성과 성공률을 향상시키는가?
• RQ3 VR에서 실시간 모델 예측을 통해 수동 원격 조작 시간을 줄일 수 있는가 동시에 높은 작업 성공률를 유지할 수 있는가?
• RQ4 모델 예측 궤적을 수정하기 위한 인간의 개입이 전체 성능 향상에 얼마나 효과적인가?
• RQ5 물체 자세 상태에 대한 보조 감독이 정밀 작업에서 정책의 일반화 및 성공률 향상에 어느 정도 기여하는가?

주요 결과

• 보조 원격 조작 시스템은 완전히 수동 원격 조작 대비 시연 당 수동 제어 시간을 5배 줄였으며, 평균적으로 각 작업당 5.5초의 개입 시간을 기록했다.
• 사용자 개입을 통해 7개의 다양한 조작 작업에서 96.1%의 성공률를 달성했으며, 이는 완전 자율 모드에서의 67.1% 성공률보다 높은 성과였다.
• 사전 훈련 및 미세조정된 트랜스포머는 모든 작업에서 초기 학습 모델보다 뛰어난 성능을 보이며 강력한 소수 샘플 일반화 능력을 입증했다.
• 사전 훈련된 모델을 사용할 때, 라운드 너트 조립 작업의 성공률가 보조 손실 적용으로 58%에서 70%로 향상되었다.
• 모델는 효과적인 sim2sim 전이를 보였으며, 로봇 운동학과 시뮬레이션 물리 법칙의 차이가 있는 Baxter(MuJoCo)에서 Franka(Omniverse)로의 일반화가 잘 이루어졌다.
• 정밀 작업, 예를 들어 육각형을 홈에 끼우는 작업(10% 성공률)에서는 주로 抓握 실패와 제한된 시연로 인한 분포 외 일반화 문제로 인해 어려움을 겪었다.