[논문 리뷰] Plan, Eliminate, and Track -- Language Models are Good Teachers for Embodied Agents

Yue Wu, So-Yeon Min외 6명|arXiv (Cornell University)|2023. 05. 03.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 텍스트 기반 환경에서 몸체적 에이전트를 안내하기 위해 사전 훈련된 대규모 언어 모델(Large Language Models, LLMs)을 지식 제공 교사로 활용하는 Plan, Eliminate, and Track (PET) 프레임워크를 소개한다. 작업을 하위 작업으로 분해하고, 관련 없는 환경 요소를 걸러내며, 진행 상황을 추적하는 방식으로, PET는 SOTA 대비 AlfWorld에서 인간이 지정한 목표로의 제로샷 일반화 성능을 15% 향상시킨다. 에이전트나 LLMs의 파라미터를 미세조정하지 않고도 성능 향상을 달성한다.

ABSTRACT

Pre-trained large language models (LLMs) capture procedural knowledge about the world. Recent work has leveraged LLM's ability to generate abstract plans to simplify challenging control tasks, either by action scoring, or action modeling (fine-tuning). However, the transformer architecture inherits several constraints that make it difficult for the LLM to directly serve as the agent: e.g. limited input lengths, fine-tuning inefficiency, bias from pre-training, and incompatibility with non-text environments. To maintain compatibility with a low-level trainable actor, we propose to instead use the knowledge in LLMs to simplify the control problem, rather than solving it. We propose the Plan, Eliminate, and Track (PET) framework. The Plan module translates a task description into a list of high-level sub-tasks. The Eliminate module masks out irrelevant objects and receptacles from the observation for the current sub-task. Finally, the Track module determines whether the agent has accomplished each sub-task. On the AlfWorld instruction following benchmark, the PET framework leads to a significant 15% improvement over SOTA for generalization to human goal specifications.

연구 동기 및 목표

• 텍스트 기반 환경에서 인간이 지정한 목표 사양에 대해 새로운 목표에 대한 일반화 능력을 향상시키는 것.
• LLMs를 직접 에이전트로 사용할 때 발생하는 제약, 즉 입력 길이 제한, 미세조정 비효율성, 비텍스트 모odalities와의 호환성 문제를 해결하는 것.
• 학습 가능한 저수준 정책 네트워크와의 호환성을 유지하면서도 LLMs의 절차적 지식 및 일반 지식을 활용하는 것.
• 모듈러하고 제로샷인 프레임워크를 설계하여, 미세조정 없이도 계획 수립, 인지, 진행 상황 추적 능력을 향상시키는 것.
• LLMs가 고수준 추상화와 추론을 통해 제어 작업을 단순화함으로써 효과적인 교사 역할을 할 수 있음을 입증하는 것.

제안 방법

• Plan 모듈은 사전 훈련된 LLM을 사용해 자연어 작업을 고수준 하위 작업의 시퀀스로 분해한다.
• Eliminate 모듈은 현재 하위 작업 기반으로, 제로샷 질문-답변 모델을 활용해 환경 관찰에서 관련 없는 물체와 수용소를 마스킹한다.
• Track 모듈은 또 다른 제로샷 QA 모델을 사용해 현재 하위 작업이 완료되었는지 판단함으로써 계획을 동적으로 진행시킨다.
• Transformer 기반 아키텍처를 가진 Action Attention 에이전트는 마스킹된 관찰을 처리하고, 현재 하위 작업에 따라 행동을 취하며, 가변 길이의 행동 공간을 다룰 수 있다.
• 전체 프레임워크는 LLMs나 에이전트의 미세조정 없이 작동하며, 모든 구성 요소에 대해 인라인 프ompting과 제로샷 QA에 의존한다.
• 여러 개의 LLMs를 협업적으로 사용한다: 하나는 계획 수립 전용, 나머지 둘은 제거 및 추적 전용으로 각각 역할에 특화되어 있다.

Figure 1: PET framework. Plan module uses LLM to generate a high-level plan. Eliminate Module uses a QA model to mask irrelevant objects in observation. Track module uses a QA model to track the completion of sub-tasks.

실험 결과

연구 질문

• RQ1 사전 훈련된 LLMs는 텍스트 기반 환경에서 인간이 지정한 목표로의 몸체적 에이전트의 제로샷 일반화 능력을 향상시킬 수 있는가?
• RQ2 LLMs는 직접 행동 실행에 관여하지 않고도 제어 작업을 어떻게 단순화할 수 있는가?
• RQ3 제로샷 QA 모델이 하위 작업 맥락에 기반해 얼마나 효과적으로 관련 없는 환경 요소를 걸러낼 수 있는가?
• RQ4 하위 작업 계획 수립과 진행 상황 추적은 복잡한 다단계 작업, 예를 들어 수를 세는 절차를 포함한 작업을 처리하는 데에 에이전트의 능력을 얼마나 향상시키는가?
• RQ5 계획, 제거, 추적을 조합한 모듈러 프레임워크는 종단 간 LLM 기반 에이전트보다 성능이 뛰어나게 설계될 수 있는가?

주요 결과

• PET 프레임워크는 AlfWorld 벤치마크에서 인간이 지정한 목표 사양으로의 일반화 성능을 SOTA 대비 15% 향상시켰다.
• Plan 모듈은 정밀도와 재현율 측면에서 99%의 정확도로 전문가 계획과 강한 일치를 보였다.
• Eliminate 모듈은 일반 지식 추론을 활용해 관찰에서 40%의 작업과 관련 없는 물체를 성공적으로 제거하여 인지 효율성을 향상시켰다.
• 하위 작업 계획 수립과 추적은 두 개의 비누를 캐비닛에 넣는 등의 절차적 수를 세는 요구가 포함된 작업에서 성능 향상에 크게 기여했다.
• 제거 모듈의 성능 향상에 Plan과 Track 모듈의 조합이 기여함을 확인하는 아블레이션 연구 결과가 제시되었으며, 상호보완적 이점이 있음을 입증했다.
• 하위 작업 임bedding과 QA 기반 추적의 강건성 덕분에, 목표 사양에 모호함이나 경미한 오류가 포함된 경우에도 프레임워크는 새로운 인간 목표로의 일반화 능력이 뛰어나다.

Figure 2: Plan Module (Sub-task Generation). 5 full examples are chosen from the training set based on RoBERTa embedding similarity with the task query description. Then the examples are concatenated with the task query to get the prompt. Finally, we prompt the LLM to generate the desired sub-tasks.