[논문 리뷰] Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning

Wenhao Li, Dan Qiao외 4명|arXiv (Cornell University)|2023. 05. 18.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

SAMA는 다중 에이전트 강화학습에서 사전 훈련된 언어 모델의 사고 체인 프롬프팅을 활용해 하위 목표를 생성하고 분해하며 할당하는 새로운 의미적으로 정렬된 작업 분해 프레임워크를 제안한다. 또한 자기 반성 기반 재계획을 가능하게 한다. Overcooked와 MiniRTS에서 이전 방법들에 비해 약 10%의 훈련 데이터만으로도 최신 기술 수준의 샘플 효율성을 달성한다.

ABSTRACT

The difficulty of appropriately assigning credit is particularly heightened in cooperative MARL with sparse reward, due to the concurrent time and structural scales involved. Automatic subgoal generation (ASG) has recently emerged as a viable MARL approach inspired by utilizing subgoals in intrinsically motivated reinforcement learning. However, end-to-end learning of complex task planning from sparse rewards without prior knowledge, undoubtedly requires massive training samples. Moreover, the diversity-promoting nature of existing ASG methods can lead to the "over-representation" of subgoals, generating numerous spurious subgoals of limited relevance to the actual task reward and thus decreasing the sample efficiency of the algorithm. To address this problem and inspired by the disentangled representation learning, we propose a novel "disentangled" decision-making method, Semantically Aligned task decomposition in MARL (SAMA), that prompts pretrained language models with chain-of-thought that can suggest potential goals, provide suitable goal decomposition and subgoal allocation as well as self-reflection-based replanning. Additionally, SAMA incorporates language-grounded RL to train each agent's subgoal-conditioned policy. SAMA demonstrates considerable advantages in sample efficiency compared to state-of-the-art ASG methods, as evidenced by its performance on two challenging sparse-reward tasks, Overcooked and MiniRTS.

연구 동기 및 목표

• 희박한 보상이 존재하는 협동적 다중 에이전트 강화학습(MARL)에서 희박한 크레딧 할당 문제를 해결하기 위해.
• 기존의 자동 하위 목표 생성(ASG) 방법의 한계, 즉 관련 없는 하위 목표의 과도한 표현과 낮은 샘플 효율성 문제를 극복하기 위해.
• 사전 훈련된 언어 모델(PLM)을 활용해 사전 훈련된 언어 모델의 사고 체인 프롬프팅을 통해 동적이고 의미적으로 정렬된 작업 분해 및 하위 목표 할당을 가능하게 하기 위해.
• 자기 반성 기반 재계획과 언어 기반 강화학습을 통합하여 샘플 효율성을 향상시키기 위해.
• 하위 목표의 의미 기반 정렬을 통해 수동으로 설정된 규칙나 도메인 특화 보상 함수에 대한 의존도를 줄이기 위해.

제안 방법

• SAMA는 사전 훈련된 언어 모델(PLM)을 사용해 현재 환경 상태를 바탕으로 고수준 목표를 생성하고 의미적으로 유의미한 하위 목표로 분해한다.
• PLM의 추론 과정을 유도하기 위해 사고 체인 프롬프팅을 활용하여 목표 분해, 하위 목표 에이전트 할당, 하위 목표 실패 시 자기 반성까지 수행한다.
• 하위 목표는 의미 분석을 통해 환경 상태에 기반해 기반을 두어 언어 기반 보상 함수를 구성함으로써 정책 훈련에 활용할 수 있도록 한다.
• 각 에이전트는 언어 기반 내재 보상 함수를 사용해 하위 목표 조건부 정책을 훈련시켜 하위 목표 완료를 장려한다.
• 하위 목표 실패 시 PLM을 재프롬프팅하여 동적 재계획을 지원하며, 전략 수정을 위해 자기 반성을 통합한다.
• 사전 처리 단계에서 환경 상태로부터 상호작용 가능한 객체를 추출하여 목표 공간을 제약하고 PLM 입력의 의미 모호성을 줄인다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 협동적 MARL 환경에서 의미적으로 정렬된 하위 목표를 효과적으로 생성하고 작업을 분해할 수 있는가?
• RQ2 자기 반성과 함께 사고 체인 프롬프팅이 희박한 보상 환경에서 하위 목표 계획 및 재계획에 기여하는가?
• RQ3 언어 기반 내재 보상 설계가 MARL에서 샘플 효율성을 얼마나 향상시키는가?
• RQ4 상호작용 가능한 객체 추출이 PLM이 생성한 하위 목표의 품질과 효율성에 어떤 영향을 미치는가?
• RQ5 PLM의 버전(GPT-3.5 대비 GPT-4)과 few-shot 프롬프팅이 하위 목표 생성 및 전체 성능에 어떤 영향을 미치는가?

주요 결과

• SAMA는 Overcooked와 MiniRTS에서 이전 최고 성능 방법들에 비해 약 10%의 훈련 데이터만으로 최신 기술 수준의 성능을 달성한다.
• GPT-4는 GPT-3.5보다 유의미하게 뛰어나며, Overcooked와 MiniRTS 환경 모두에서 큰 성능 격차를 보인다.
• 언어 모델이 생성한 보상 함수는 MiniRTS에서는 수동 설계된 함수와 유사한 성능을 보였지만, Overcooked에서는 의미 복잡도가 더 높아 약간 열등한 성능을 보였다.
• 상호작용 가능한 객체 추출을 생략할 경우 성능이 크게 하락하여, 제약된 입력 공간이 PLM 추론과 정책 학습에 긍정적인 영향을 미친다는 점을 시사한다.
• 3개의 예시 대비 1개의 few-shot 예시만 사용하는 것이 더 뛰어난 성능과 비용 효율성을 달성하여, 더 많은 예시가 주어질수록 수익 감소 효과가 나타남을 시사한다.
• 이 방법은 PLM 출력의 편향에 대해 뛰어난 내성성을 보였지만, 목표 생성 과정에서 스테레오타입이 반영될 수 있는 사회적 위험 요소가 존재하며, 실제 적용 시 이러한 문제를 완화할 조치가 필요하다.