[논문 리뷰] Learning to Reason over Scene Graphs: A Case Study of Finetuning GPT-2 into a Robot Language Model for Grounded Task Planning

Georgia Chalvatzaki, Ali Younes외 4명|arXiv (Cornell University)|2023. 01. 01.

Topic Modeling인용 수 1

한 줄 요약

이 논문은 환경을 시나리오 그래프로 표현하고 이를 자연어 프롬프트로 선형화하여, GPT-2를 다듬어 장기적 시간 범위의 로봇 작업 계획을 위한 지상화된 언어 모델(RobLM)로 활용하는 방법을 제안한다. 이 방법은 자연어 지시어로부터 실행 가능한 순차적 계획을 생성할 수 있게 하여 ALFRED 벤치마크에서 뛰어난 성능을 달성하며, 특히 초기 행동에 대한 문맥적 정보가 풍부한 기술이 제공될 경우 성능이 뛰어나다.

ABSTRACT

Long-horizon task planning is essential for the development of intelligent assistive and service robots. In this work, we investigate the applicability of a smaller class of large language models (LLMs), specifically GPT-2, in robotic task planning by learning to decompose tasks into subgoal specifications for a planner to execute sequentially. Our method grounds the input of the LLM on the domain that is represented as a scene graph, enabling it to translate human requests into executable robot plans, thereby learning to reason over long-horizon tasks, as encountered in the ALFRED benchmark. We compare our approach with classical planning and baseline methods to examine the applicability and generalizability of LLM-based planners. Our findings suggest that the knowledge stored in an LLM can be effectively grounded to perform long-horizon task planning, demonstrating the promising potential for the future application of neuro-symbolic planning methods in robotics.

연구 동기 및 목표

• 작은 LLM, 특히 GPT-2를 사용하여 로봇 분야에서 지상화된 장기적 시간 범위 작업 계획의 가능성 여부를 조사하는 것.
• 구조화된 시나리오 그래프 표현을 활용해 자연어 작업 요청을 실행 가능한 로봇 계획으로 변환하는 방법을 개발하는 것.
• 계산 자원 제약 조건 하에서 전통적 계획 방법과 비교해 LLM 기반 계획자의 일반화 능력과 성능을 평가하는 것.
• 문맥 기반 지상화가 LLM 기반 계획자에서 계획 생성의 정확도와 적응성에 어떻게 기여하는지 탐구하는 것.

제안 방법

• 도메인은 물체, 그들의 속성, 그리고 공간적-의미적 관계를 인코딩하는 시나리오 그래프로 표현된다.
• 시나리오 그래프는 GPT-2 미세조정을 위한 입력으로 사용하기 위해 자연어 기술로 선형화된다.
• 미세조정된 GPT-2 모델인 RobLM은 자연어 지시어에서 순차적 행동 계획을 생성한다.
• 모델은 ALFRED 벤치마크에서 작업 목표와 초기 행동에 대한 문맥적 풍부한 기술을 조합하여 훈련된다.
• 전체 문맥(최대 1024 토큰)을 포함하는 프롬프트 엔지니어링 전략을 사용하여 계획 정확도를 향상시킨다.
• 구조화된 시나리오 그래프를 자연어로 변환하기 위한 새로운 구성 요소인 Graph2NL이 도입된다.

실험 결과

연구 질문

• RQ1 지상화된 시나리오 그래프 표현에 기반해 미세조정된 GPT-2 모델이 정확하고 실행 가능한 로봇 계획을 생성할 수 있는가?
• RQ2 문맥 정보(예: 첫 번째 행동에 대한 기술)는 LLM 기반 계획자의 성능에 어떻게 영향을 미치는가?
• RQ3 지상화된 LLM 기반 계획자와 전통적 계획 방법 간의 성공률 및 일반화 능력 측면에서 성능는 어떻게 비교되는가?
• RQ4 LLM이 가중치에 저장된 일반 지식을 활용해 장기적 시간 범위 작업에 대해 얼마나 잘 추론할 수 있는가?
• RQ5 실시간 로봇 계획에 LLM을 사용할 경우 발생하는 계산적 트레이드오프는 무엇인가?

주요 결과

• RobLM은 특히 첫 번째 지시어에 대한 자연어 기술이 제공될 경우 '전체 계획' 동작과 인자에 대해 높은 정확도를 달성한다.
• 문맥 정보가 제공될 경우 RobLM의 성능은 전통적 계획 기반 베이스라인에 근접하여, 문맥 신호에 대한 강력한 적응성을 보여준다.
• GPT-2의 전체 어휘와 내부 생성 메커니즘으로 인해, 전체 문맥 하에서 추론 속도가 매우 느리며, 초당 약 0.2회의 반복만 가능하다.
• 이 방법은 작은 모델인 GPT-2를 사용하더라도 구조화된 시나리오 그래프로 LLM을 지상화함으로써 장기적 시간 범위 작업에 대한 효과적인 추론이 가능하다는 점을 보여준다.
• 결과는 LLM이 부분 관측 환경에서 계획에 유용한 일반 지식을 저장하고 검색할 수 있음을 시사한다.
• 속도와 일관성의 한계가 있음에도 불구하고, 이 접근법은 로봇 분야에서 신경 기반 기호 계획의 잠재력을 잘 보여준다.