[논문 리뷰] Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents

Wenlong Huang, Fei Xia외 9명|arXiv (Cornell University)|2023. 03. 01.

Topic Modeling인용 수 13

한 줄 요약

Grounded Decoding (GD) 은 고정된 Large Language Model과 도메인 특화 grounded 모델을 연결하여 embodied 로봇의 개방 어휘 계획을 디코딩하고, LLM 미세조정 없이도 장기 목표를 가능하게 한다. GD는 토큰 수준 결합 확률을 사용하여 계획이 의미적으로 그럴듯하고 물리적으로 실현 가능하도록 한다.

ABSTRACT

Recent progress in large language models (LLMs) has demonstrated the ability to learn and leverage Internet-scale knowledge through pre-training with autoregressive models. Unfortunately, applying such models to settings with embodied agents, such as robots, is challenging due to their lack of experience with the physical world, inability to parse non-language observations, and ignorance of rewards or safety constraints that robots may require. On the other hand, language-conditioned robotic policies that learn from interaction data can provide the necessary grounding that allows the agent to be correctly situated in the real world, but such policies are limited by the lack of high-level semantic understanding due to the limited breadth of the interaction data available for training them. Thus, if we want to make use of the semantic knowledge in a language model while still situating it in an embodied setting, we must construct an action sequence that is both likely according to the language model and also realizable according to grounded models of the environment. We frame this as a problem similar to probabilistic filtering: decode a sequence that both has high probability under the language model and high probability under a set of grounded model objectives. We demonstrate how such grounded models can be obtained across three simulation and real-world domains, and that the proposed decoding strategy is able to solve complex, long-horizon embodiment tasks in a robotic setting by leveraging the knowledge of both models. The project's website can be found at grounded-decoding.github.io.

연구 동기 및 목표

• 대형 언어 모델의 고수준 의미 계획을 로봇 구현 및 환경의 grounding 정보와 연결한다.
• LLM 확률과 grounding 모델의 목표(촉지 가능성/어포던스, 안전, 선호도)를 결합하는 토큰-수준 디코딩 전략을 개발한다.
• 시뮬레이션 및 실제 세계를 포함한 다수의 도메인에 적용 가능성을 보여주고 이전 방법들보다 효율성 향상을 입증한다.

제안 방법

• 구현 상태 s에 조건화된 grounding 함수 pG(w1...n|s)를 정의한다.
• GD를 pGD(w1...N|s, l) ∝ pLLM(wn|w1...n-1, l) · pG(w1...n|s) 를 최대화하는 토큰-수준 자동회귀 디코딩으로 형식화한다.
• 그리디 탐색 또는 빔 탐색으로 LLM과 grounding 모델 모두에서 가능성이 높은 토큰을 선택하도록 GD를 구현한다.
• 도메인 데이터에서 grounding 시그널을 학습한다(토큰 조건부 값 함수, 다중모달 탐지기, 규칙 기반 신호) 및 이를 구성한다(어포던스, 안전, 선호).
• 디코딩에서 시각-언어 모델 활용을 위해 프롬프트나 chain-of-thought 기법을 통해 다중 모드 grounding을 선택적으로 활성화한다.

실험 결과

연구 질문

• RQ1 개방 어휘 언어 모델을 로봇의 구현 상태에 grounding하여 실행 가능한 장기 계획을 생성할 수 있는가?
• RQ2 어포던스, 안전, 선호도, 다중모달 탐지기 등 어떤 grounding 시그널이 ungrounded 디코딩에 비해 장기 목표 성공을 개선하는가?
• RQ3 토큰-수준 Grounded Decoding이 LLM 미세조정 없이 개방 액션 공간과 다수의 도메인(시뮬레이션 및 현실 세계)으로 효율적으로 확장될 수 있는가?
• RQ4 GD가 계획 및 실행의 효율성, 보지 못한 작업에 대한 일반화에서 SayCan과 어떻게 비교되는가?

주요 결과

• GD는 LLM 계획과 도메인 grounding을 통합하여 세 가지 구현 도메인에서 강력한 성능을 달성한다.
• 그리디 디코딩에 비해 빔 탐색이 특히 장기 목표에서 성능을 향상시킨다.
• 테스트된 작업에서 GD는 SayCan보다 두 배의 두 자리 수 차이로 더 효율적이면서도 유사한 성능을 달성한다.
• grounding 을 통한 어포던스, 안전, 선호도는 비 grounding 또는 순수하게 LLM 기반 접근보다 행동 공간을 좁히고 계획 실패를 줄인다.
• 체인 오브 생각 프롬프트를 활용한 다중 모드 grounding은 실제 환경에서 작업을 해석하는 데 도움이 되어 모호한 상황에서의 계획 및 실행을 개선한다.