[논문 리뷰] Language-Conditioned Imitation Learning for Robot Manipulation Tasks

Simon Stepputtis, Joseph Campbell외 4명|arXiv (Cornell University)|2020. 10. 22.

Robot Manipulation and Learning참고 문헌 34인용 수 21

한 줄 요약

이 논문은 자연어 지시와 운동 시연을 결합하여 로봇이 조작 작업을 학습할 수 있도록 하는 언어 조절형 시뮬레이션 이mitation 학습 프레임워크를 제안한다. 시각-언어 어텐션을 갖춘 이중 브랜치 신경망 아키텍처와 운동 프리미티브 컨트롤러를 사용함으로써, 모델은 시뮬레이션된 픽-앤드倒 작업에서 84%의 성공률을 달성했으며, 인간 사용자 시험에서 자유형 자연어 지시에 대해 64%의 성공률을 기록하여 일반화 성능을 입증하였다.

ABSTRACT

Imitation learning is a popular approach for teaching motor skills to robots. However, most approaches focus on extracting policy parameters from execution traces alone (i.e., motion trajectories and perceptual data). No adequate communication channel exists between the human expert and the robot to describe critical aspects of the task, such as the properties of the target object or the intended shape of the motion. Motivated by insights into the human teaching process, we introduce a method for incorporating unstructured natural language into imitation learning. At training time, the expert can provide demonstrations along with verbal descriptions in order to describe the underlying intent (e.g., "go to the large green bowl"). The training process then interrelates these two modalities to encode the correlations between language, perception, and motion. The resulting language-conditioned visuomotor policies can be conditioned at runtime on new human commands and instructions, which allows for more fine-grained control over the trained policies while also reducing situational ambiguity. We demonstrate in a set of simulation experiments how our approach can learn language-conditioned manipulation policies for a seven-degree-of-freedom robot arm and compare the results to a variety of alternative methods.

연구 동기 및 목표

• 정책 학습에 비정형 자연어를 통합함으로써 이mitation 학습에서의 영리하고 인간 같은 목표 기술의 부족을 해결하기 위해.
• 로봇이 작업 수행 중 다양한 자유형 자연어 지시를 해석하고 실행할 수 있도록 하기 위해.
• 언어, 인지, 운동을 공통의 잠재 공간에 기반하여 통합함으로써 로봇 조작의 상황적 모호성을 줄이기 위해.
• 시각적 관측치와 언어 목표를 직접 운동 제어 정책으로 매핑하는 일반화 가능한 종단 간 프레임워크를 개발하기 위해.
• 실제 시뮬레이션 및 인간-중개 설정에서 시각적, 물리적, 언어적 교란에 대한 강건성을 평가하기 위해.

제안 방법

• 모델은 이중 브랜치 아키텍처를 사용한다: 언어 목표와 시각적 장면 상태를 시각-언어 어텐션 메커니즘을 통해 인코딩하는 고수준 의미 네트워크.
• 의미 네트워크는 교차 어텐션을 통해 언어 기술(예: '크고 초록색 냄비')와 물체의 시각적 특징을 정렬함으로써 의도의 기반을 마련한다.
• 저수준 제어 네트워크는 융합된 의미 임베딩에 조건화되어 운동 프리미티브 파rameter(예: 경로 웨이포인트)를 생성한다.
• 전체 모델은 시연 트레이젝터리와 보조 손실을 사용하여 중간 표현을 정규화함으로써 엔드 투 엔드로 훈련된다.
• 사전 훈련된 구성 요소로는 객체 검출을 위한 Faster R-CNN과 단어 임베딩을 위한 GloVe가 포함되어 있으나, 프레임워크는 BERT와 같은 현대적 대체 기술과도 호환된다.
• 해석 가능성 확보를 위해 어텐션 시각화를 사용하여 사용자가 지시에 따라 로봇이 어떤 물체를 선택했는지 확인할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 언어 조절형 이mitation 학습은 로봇 조작 작업에서 새로운 언어 기술에 대해 제로샷 일반화 성능을 향상시킬 수 있는가?
• RQ2 시각-언어 어텐션 통합이 모호하거나 복잡한 지시를 해석하는 데 로봇의 능력을 향상시키는 데 어떤 영향을 미치는가?
• RQ3 모델은 새로운 인간 사용자로부터 온 자유형, 제약 없는 자연어 지시에 얼마나 잘 일반화되는가?
• RQ4 물체 재배치 또는 물체 성질 변화와 같은 환경 내 시각적 및 물리적 교란에 대해 정책은 얼마나 강건한가?
• RQ5 단지 언어와 시연 데이터만을 사용하여 픽-앤드倒와 같은 순차적 작업에서 높은 성공률을 달성할 수 있는가?

주요 결과

• 모델은 절차적으로 생성된 언어 지시를 사용한 시뮬레이션된 픽-앤드倒 작업에서 84%의 성공률을 기록했으며, 이는 최신 기준 수준의 베이스라인을 크게 능가했다.
• 모델은 색상, 크기, 형상,倒 양 등의 수정어 조합에 대해 효과적으로 일반화되어 언어적 다양성에 대한 강건성을 입증했다.
• 자유형 자연어 지시를 사용한 인간 사용자 시험에서 64%의 성공률을 기록하여 제약 없는 실제 세계 유사 지시에 대해 신뢰할 수 있는 성능를 입증했다.
• 아블레이션 연구를 통해 보조 손실과 어텐션 메커니즘이 정책 일반화 및 해석 가능성 향상에 중요한 역할을 한다는 점을 확인했다.
• 모델는 물체 재배치 및 환경 노이즈 조건에서도 성능를 유지하며 시각적 및 물리적 교란에 대한 내성성을 보였다.
• 어텐션 시각화를 통해 로봇이 지시에 따라 어떤 물체를 선택했는지 명확히 보여주어 신뢰도 향상과 검증 가능성 향상에 기여했다.