[논문 리뷰] Instruction-driven history-aware policies for robotic manipulations

Pierre-Louis Guhur, Shizhe Chen외 4명|arXiv (Cornell University)|2022. 09. 11.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 자연어 지시, 다중 시점 시각 관측, 장기적인 동작 이력 정보를 통합하는 다중모달 트랜스포머인 Hiveformer를 제안한다. 이러한 입력을 동시에 모델링함으로써 Hiveformer는 74개의 RLBench 태스크에서 최신 기술 수준(SOTA) 성능을 달성하며, 예측되지 않은 태스크 변형과 인간이 작성한 지시에 일반화되며, 실제 물리적 로봇에서의 미세조정을 통해 강력한 실세계 전이 능력을 보여준다.

ABSTRACT

In human environments, robots are expected to accomplish a variety of manipulation tasks given simple natural language instructions. Yet, robotic manipulation is extremely challenging as it requires fine-grained motor control, long-term memory as well as generalization to previously unseen tasks and environments. To address these challenges, we propose a unified transformer-based approach that takes into account multiple inputs. In particular, our transformer architecture integrates (i) natural language instructions and (ii) multi-view scene observations while (iii) keeping track of the full history of observations and actions. Such an approach enables learning dependencies between history and instructions and improves manipulation precision using multiple views. We evaluate our method on the challenging RLBench benchmark and on a real-world robot. Notably, our approach scales to 74 diverse RLBench tasks and outperforms the state of the art. We also address instruction-conditioned tasks and demonstrate excellent generalization to previously unseen variations.

연구 동기 및 목표

• 현재 시각에서 가림을 입는 과거 동작과 물체 상태를 기억할 필요가 있는 장기적 시퀀스의 로봇 조작 과제를 해결하기 위해.
• 다중 시점 입력을 통해 시각적 가림과 물체 크기 변화 상황에서 조작 정밀도를 향상시키기 위해.
• 재학습 없이도 예측되지 않은 태스크 변형과 인간이 작성한 언어 지시에 일반화할 수 있도록 하기 위해.
• 시뮬레이션에서 사전학습하고 실제 로봇의 시연 데이터로 미세조정함으로써 시뮬레이션에서 실제 세계로의 격차를 메우기 위해.
• 종합적인 다중모달 트랜스포머 아키텍처를 통해 지시, 시각 관측, 이력 모델링을 통합하여 엔드 투 엔드 정책 학습을 가능하게 하기 위해.

제안 방법

• Hiveformer는 사전학습된 언어 인코더를 사용하여 자연어 지시를 토큰으로 인코딩하고, 이 토큰을 시각적 및 이력 특징과 함께 교차 어텐션에 활용한다.
• 다양한 카메라에서 온 현재 및 과거 시각 관측과 프로피어셉티브 피드백을 처리하여 다중모달 융합을 위한 시각 토큰으로 변환한다.
• 지시, 시각, 이력 토큰의 연결된 시퀀스를 주시하여 시각, 언어, 동작 이력 간의 교차모달 의존성을 모델링하는 다중모달 트랜스포머를 적용한다.
• 트랜스포머의 출력은 UNet으로 디코딩되어 7-DoF 로봇 동작(위치, 자세, 그립퍼 상태)을 예측한다.
• 모델는 시뮬레이션 내 합성 지시를 기반으로 행동 클론 학습을 수행한 후, 실제 로봇 시연 데이터로 미세조정하여 시뮬레이션-실세계 간 격차를 해소한다.
• 다중 시점 특징은 공유된 시각 인코더를 통해 처리되고, 트랜스포머의 자기어텐션 메커니즘을 통해 공간적·시간적으로 융합된다.

실험 결과

연구 질문

• RQ1 통합된 트랜스포머 아키텍처가 언어 지시, 다중 시점 관측, 장기적 동작 이력을 효과적으로 융합하여 로봇 조작 성능을 향상시킬 수 있는가?
• RQ2 이력과 다중 시점 인식을 통합함으로써 장기적 시퀀스 및 가림이 발생하는 조작 과제에서 성공률는 어떻게 향상되는가?
• RQ3 단일 Hiveformer 정책이 예측되지 않은 태스크 변형과 인간이 작성한 지시에 얼마나 잘 일반화되는가?
• RQ4 시뮬레이션에서 사전학습하고 실제 로봇 데이터로 미세조정하는 것이 실세계 성능을 크게 향상시키는가?
• RQ5 다양한 태스크 유형에서 제로샷 및 희소한 few-shot 일반화 성능 측면에서 Hiveformer는 최신 기술 수준(SOTA) 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 10개의 시범 예제당 푸시 버튼 태스크에서 Hiveformer는 96.8%의 성공률를 기록했고, 50개의 시범 예제당 99.6%를 기록하여 희소한 시범 학습에서의 강력한 일반화 능력을 입증했다.
• 푸시 버튼 태스크의 예측되지 않은 변형에 대해, 10개의 시범 예제당 71.7%의 성공률, 50개의 시범 예제당 74.1%의 성공률를 기록하여 새로운 태스크 순서에 대한 강력한 일반화 능력을 보였다.
• 타워 태스크에서는 단지 10개의 시범 예제당 49.8%의 성공률를 기록하여 순차적 조작 기술을 효과적으로 학습한 것으로 나타났다.
• 인간이 작성한 지시에 대해서는, 예측된 변형에서는 73.1%의 성공률, 예측되지 않은 변형에서는 50.1%의 성공률를 기록하여 합성 지시로 학습된 후에도 성능 이식이 가능함을 보였다.
• 실제 로봇 실험에서는 사전학습 및 미세조정된 Hiveformer가 예측되지 않은 변형에서 85.7%의 성공률를 기록했으며, 무작위 초기화된 모델(13.3%)을 압도하여 강력한 시뮬레이션-실세계 전이 능력을 입증했다.
• Hiveformer는 74개의 다양한 RLBench 태스크에서 일반화되었으며, 특히 스택킹 및 단추 누르기와 같이 정밀도와 장기적 기억이 요구되는 태스크에서 성능 향상이 두드러졌다.