[논문 리뷰] Leveraging Language for Accelerated Learning of Tool Manipulation

Allen Z. Ren, Bharat Govil외 3명|arXiv (Cornell University)|2022. 06. 27.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 도구의 기하학적 특성과 일반적인 용도에 대한 자연어 기술을 활용하여 대규모 언어 모델(Large Language Models, LLMs)을 이용해 로봇 정책의 새로운 도구에 대한 적응 속도를 가속화하는 메타학습 프레임워크 ATLA를 제안한다. LLM이 생성한 도구 기술의 임베딩을 메타학습의 조건으로 삼음으로써, 밀기, 들어올리기, 훔치기, 망치질 등의 작업에서 언어 지도 없이도 더 빠르고 효과적으로 제로샷 적응을 가능하게 하여 기준 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Robust and generalized tool manipulation requires an understanding of the properties and affordances of different tools. We investigate whether linguistic information about a tool (e.g., its geometry, common uses) can help control policies adapt faster to new tools for a given task. We obtain diverse descriptions of various tools in natural language and use pre-trained language models to generate their feature representations. We then perform language-conditioned meta-learning to learn policies that can efficiently adapt to new tools given their corresponding text descriptions. Our results demonstrate that combining linguistic information and meta-learning significantly accelerates tool learning in several manipulation tasks including pushing, lifting, sweeping, and hammering.

연구 동기 및 목표

• 도구의 기능에 대한 언어 정보를 활용하여 도구 조작 작업에서 새로운 도구에 대한 로봇 정책 적응 속도를 가속화하기 위해.
• 도구 기하학적 특성과 일반적인 용도에 대한 자연어 기술이 도구 조작에서 제로샷 일반화를 향상시키는지 조사하기 위해.
• LLM에 임bed된 도구 기술을 조건으로 삼는 메타학습 프레임워크를 개발하여 더 빠른 피팅 조정을 가능하게 하기 위해.
• 언어 정보가 도구 특화 기능(예: 손잡이, 후크, 형태 등)을 활용하도록 정책이 어떻게 도움을 주는지 평가하기 위해.
• 언어 조건 메타학습이 다양한 도구 조작 작업에서 샘플 효율성과 성능을 향상시키는지 보여주기 위해.

제안 방법

• 다양한 도구의 기하학적 특성과 일반적인 용도를 포함한 다양한 기술을 생성하기 위해 사전 학습된 LLM을 사용한다.
• 사전 학습된 BERT 기반 모델을 사용하여 이러한 기술에서 조밀한 벡터 표현을 추출하여 도구별 컨텍스트 임베딩을 형성한다.
• 기울기 기반 메타학습 알고리즘(Reptile)을 적용하여, 도구의 언어 임베딩을 조건으로 삼아 피팅 조정이 빠르게 이루어지는 기본 정책을 학습한다.
• 메타학습 중에 도구와 그 언어 조건 임베딩을 샘플링하여 오프정책 메타 업데이트를 수행함으로써 일반화 능력을 향상시킨다.
• 추론 중에 새로운 도구의 언어 임베딩과 소수의 환경 상호작용을 조건으로 삼아 정책 적응 과정을 조정한다.
• 작업 전용 언어 기반 지도 없이 언어 지도를 통합함으로써, 다양한 역학적 특성을 가진 작업 간 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 도구 기하학적 특성과 일반적인 용도에 대한 언어 기술이 로봇 조작에서 새로운 도구에 대한 제로샷 정책 적응 속도를 가속화할 수 있는가?
• RQ2 언어 조건 메타학습은 언어 지도 없이 표준 메타학습에 비해 샘플 효율성과 최종 성능 측면에서 어떻게 비교되는가?
• RQ3 언어 표현의 품질(예: 더 큰 LLM에서 유도된 표현)이 정책 적응 속도와 성공률에 얼마나 영향을 미치는가?
• RQ4 언어 정보가 도구 기능(예: 손잡이, 후크, 곡선 가장자리 등)을 정확히 활용하도록 도울 수 있는가?
• RQ5 언어 조건 적응의 실패 모드는 무엇이며, 이는 도구 특화 기능에 대한 민감도와 어떻게 관련되는가?

주요 결과

• 언어 조건 메타학습(ATLA)은 언어 지도 없이 기준 방법에 비해 밀기, 들어올리기, 훔치기, 망치질 등의 작업에서 새로운 도구에 대한 정책 적응 속도를 뚜렷이 가속화한다.
• 더 큰 사전 학습된 언어 모델(예: BERT-base)을 사용해 기술을 인코딩하면 더 작은 모델(예: BERT-tiny)보다 후속 적응 보상이 높게 나타나, richer 표현이 성능 향상에 기여함을 시사한다.
• 완전한 언어 기술(예: '굽은 후크' 또는 '잡을 수 있는 손잡이')을 조건으로 삼은 정책은 크로우바의 후크나 토럴의 손잡이를 사용하는 것과 같이 도구 기능을 성공적으로 활용하지만, 단순화된 기술은 실패로 이어진다.
• 도구 기술에서 '손잡이'와 같은 핵심 용어를 제거하면 정책이 도구를 제대로 잡지 못해 실패함을 보여주며, 언어가 정확한 기능 활용을 가능하게 함을 입증한다.
• 개선에도 불구하고 ATLA는 페인트 롤러의 롤러 개방부나 수도꼭지의 평평한 헤드를 망치질할 때 정확히 사용하지 못함을 보이며, 초기 자세와 탐색 과제에 민감함을 드러낸다.
• 메타학습 하이퍼파라미터 β_meta의 포함으로 학습 효율성과 최종 성능이 향상되어, 다양한 도구 간 경험 공유가 학습을 향상시킴을 보여준다.