[논문 리뷰] Reshaping Robot Trajectories Using Natural Language Commands: A Study of Multi-Modal Data Alignment Using Transformers

Arthur Bucker, Luis Figueredo외 4명|arXiv (Cornell University)|2022. 03. 25.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 사전 훈련된 언어 임bedding(BERT 및 CLIP)를 기하학적 궤적 데이터와 정렬하는 다중모달 어텐션 트랜스포머를 사용하여 자연어 인터페이스를 제안한다. 이는 기존의 키네스티식 가르침과 프로그래밍 방식보다 뛰어난 성능과 사용자 선호도를 보이며, 실제 실험에서 사용자가 더 빠르게 작업을 완료하고 성공률이 높다.

ABSTRACT

Natural language is the most intuitive medium for us to interact with other people when expressing commands and instructions. However, using language is seldom an easy task when humans need to express their intent towards robots, since most of the current language interfaces require rigid templates with a static set of action targets and commands. In this work, we provide a flexible language-based interface for human-robot collaboration, which allows a user to reshape existing trajectories for an autonomous agent. We take advantage of recent advancements in the field of large language models (BERT and CLIP) to encode the user command, and then combine these features with trajectory information using multi-modal attention transformers. We train the model using imitation learning over a dataset containing robot trajectories modified by language commands, and treat the trajectory generation process as a sequence prediction problem, analogously to how language generation architectures operate. We evaluate the system in multiple simulated trajectory scenarios, and show a significant performance increase of our model over baseline approaches. In addition, our real-world experiments with a robot arm show that users significantly prefer our natural language interface over traditional methods such as kinesthetic teaching or cost-function programming. Our study shows how the field of robotics can take advantage of large pre-trained language models towards creating more intuitive interfaces between robots and machines. Project webpage: https://arthurfenderbucker.github.io/NL_trajectory_reshaper/

연구 동기 및 목표

• 사용자가 자연어 명령어를 통해 로봇 궤적을 수정할 수 있는 유연하고 직관적인 인간-로봇 인터페이스를 개발한다.
• 실제 로봇 응용 분야에서 정형화된 템플릿 기반 언어 인터페이스와 키네스티식 가르침의 한계를 해결한다.
• 운동역학적 타당성과 안전성을 유지하면서도 의미적 의도를 존중하는 궤적 재구성 기능을 제공한다.
• 대규모 사전 훈련된 언어 및 시각 모델을 활용하여 데이터 요구량을 줄이고 새로운 명령어에 대한 일반화 능력을 향상시킨다.
• 모델을 시뮬레이션 및 실제 환경에서 평가하여 사용성과 성능 우수성을 입증한다.

제안 방법

• 시스템은 사전 훈련된 BERT 및 CLIP 모델을 사용하여 자연어 명령어를 고밀도 의미 임베딩으로 인코딩한다.
• 기하학적 궤적 데이터는 3차원 웨이포인트의 시퀀스로 인코딩되며, 이는 초기 로봇 운동을 나타낸다.
• 다중모달 어텐션 트랜스포머는 언어 임베딩과 궤적 임베딩을 동시에 정렬하여 맥락 인식 표현을 생성한다.
• 모델은 시퀀스 예측 작업으로서 궤적 생성을 수행하며, 원본 궤적과 언어 입력을 조건으로 하여 재구성된 웨이포인트를 예측한다.
• 모의 학습을 통해 인간이 수정한 궤적과 자연어 명령어가 쌍으로 구성된 데이터셋으로 모델을 훈련한다.
• 이 아키텍처는 작업별 재훈련 없이도 의미 기반 궤적 재구성의 엔드 투 엔드 학습을 가능하게 한다.

Figure 1 : Our system allows a user to send natural language commands to reshape robot trajectories relative to objects in the environment.

실험 결과

연구 질문

• RQ1 사용자가 자연어 명령어를 통해 인간의 의도와 일치하는 방식으로 로봇 궤적을 효과적으로 재구성할 수 있는가?
• RQ2 언어 데이터와 궤적 데이터 간의 다중모달 어텐션은 단일모달 또는 비어텐션 기반 베이스라인 대비 궤적 재구성 성능을 얼마나 향상시키는가?
• RQ3 사전 훈련된 언어 및 시각 모델을 활용할 경우, 대규모 애너테이션 데이터의 필요성은 어느 정도 감소하는가?
• RQ4 키네스티식 가르침과 프로그래밍과 같은 전통적 방법과 비교해 본다면, 제안된 인터페이스의 사용성과 성공률 측면에서 어떤 우위를 점하는가?
• RQ5 사전 훈련된 임베딩 덕분에, 훈련 중에 볼 수 없었던 새로운 명령어와 물체에 대해서도 시스템이 일반화할 수 있는가?

주요 결과

• 자연어(NL) 인터페이스는 평균적으로 작업당 1.33회 반복으로 완료되었으며, 키네스티식 가르침(1.78회)과 궤적 그리기 방식(1.89회)보다 훨씬 적었다.
• NL 인터페이스는 사용자 실험에서 100%의 성공률을 기록했으며, 키네스티식 가르침(56.24%)과 궤적 그리기 방식(64.7%)을 모두 앞섰다.
• 사용자들은 NL 인터페이스를 가장 자연스럽게 느꼈다(98/100), 사용하기 가장 쉬운 인터페이스로 평가했다(92/100), 다만 직접 제어 방식에 비해 예측 가능성이 떨어지는 것으로 평가되었다.
• NL 인터페이스는 평균 완료 시간이 81초로 가장 빠르며, 키네스티식 가르침(139초)과 그리기 방식(120초)보다 빠르게 작업을 완료했다.
• 프로그래밍 인터페이스는 실패율이 가장 높았고(8.34%), 만족도 평가도 가장 낮았다(62/100), 이는 높은 학습 곡률 때문일 것으로 보인다.
• 모델은 시뮬레이션 및 실제 실험 모두에서 베이스라인 방법보다 뛰어난 성능을 보였으며, 낮은 손실 값과 더 나은 품질의 궤적 출력을 기록했다.

Figure 2 : Typical use case for trajectory reshaping. The user’s natural language command $L_{\text{in}}$ is processed by function $f$ to reshape the original robot trajectory relative to the target object $O_{i}$ .