[논문 리뷰] LLM-Personalize: Aligning LLM Planners with Human Preferences via Reinforced Self-Training for Housekeeping Robots
LLM-Personalize는 유저 선호도에 맞게 가정용 로봇을 위한 LLM 계획가를 개인화하기 위해 애벌레 학습과 반복적 자기학습을 융합한 강화학습 기반 자기학습 파이프라인을 도입한다. 다방면의 부분 관찰 가능한 환경에서 계획 실행 가능성과 선호도 일치도를 향상시켜 Housekeep 벤치마크에서 성공률이 30% 이상 향상되었다.
Large language models (LLMs) have shown significant potential for robotics applications, particularly task planning, by harnessing their language comprehension and text generation capabilities. However, in applications such as household robotics, a critical gap remains in the personalization of these models to individual user preferences. We introduce LLM-Personalize, a novel framework with an optimization pipeline designed to personalize LLM planners for household robotics. Our LLM-Personalize framework features an LLM planner that performs iterative planning in multi-room, partially-observable household scenarios, making use of a scene graph constructed with local observations. The generated plan consists of a sequence of high-level actions which are subsequently executed by a controller. Central to our approach is the optimization pipeline, which combines imitation learning and iterative self-training to personalize the LLM planner. In particular, the imitation learning phase performs initial LLM alignment from demonstrations, and bootstraps the model to facilitate effective iterative self-training, which further explores and aligns the model to user preferences. We evaluate LLM-Personalize on Housekeep, a challenging simulated real-world 3D benchmark for household rearrangements, and show that LLM-Personalize achieves more than a 30 percent increase in success rate over existing LLM planners, showcasing significantly improved alignment with human preferences. Project page: https://gdg94.github.io/projectllmpersonalize/.
연구 동기 및 목표
- 개인화된 사용자 선호도에 맞게 LLM 계획가를 가정용 로봇에 적용하기 위한 격차를 해소하기 위해.
- 다방면의 부분 관찰 가능한 환경에서 장기 계획을 LLM을 활용해 향상시키기 위해.
- 광범위한 인간 주석 기반 선호도 데이터가 필요 없이도 효과적인 개인화를 가능하게 하는 확장 가능한 최적화 파이프라인을 개발하기 위해.
- 실제 적용 가능성을 입증하기 위해 도전적인 3D 시뮬레이션 벤치마크인 Housekeep에서 프레임워크를 평가하기 위해.
- 미리 보지 못한 가정 레이아웃으로까지 개인화된 계획 행동의 도메인 간 전이를 가능하게 하기 위해.
제안 방법
- 프레임워크는 세 구성 요소로 이루어진 에이전트 아키텍처를 사용한다: 국소 관측에서 시나리오 그래프를 구축하고 업데이트하는 컨텍스트 생성기, 시나리오 그래프를 기반으로 고수준 행동 시퀀스를 생성하는 LLM 계획가, 그리고 행동을 실행하는 저수준 제어기.
- 초기 애벌레 학습 단계에서는 인간의 행동 데이터를 기반으로 LLM 계획가를 인간의 시연 데이터에 맞추어 컨텍스트 이해와 선호도 해석을 부트스트랩한다.
- 이후 반복적 자기학습 단계가 이어지며, 모델은 상호작용 데이터를 생성하고 사용자 선호도 피드백에 기반해 결과를 평가하며, 보다 높은 보상(선호도가 높은) 배치를 선호하는 정책으로 업데이트한다.
- 자기학습 과정은 인간 선호도 데이터에서 유도된 보상 신호를 사용하여 정확한 물체-수용자 배치를 최적화하며, 탐색과 이용의 균형을 유지한다.
- 최적화 파이프라인은 애벌레 학습에서 시작하여 자기학습을 시작하기 전에 데이터 품질을 향상시키는 방식으로 부트스트랩된다.
- 프레임워크는 다양한 장기 계획, 부분 관찰 가능한 가정 정리 작업과 실제 인간 선호도 주석이 포함된 Housekeep 벤치마크에서 평가된다.
실험 결과
연구 질문
- RQ1암시적인 선호도 모델링이 필요 없이도 LLM 계획가가 개인화된 사용자 선호도에 효과적으로 맞출 수 있는가?
- RQ2애벌레 학습과 반복적 자기학습을 융합함으로써 다방면의 부분 관찰 가능한 환경에서 계획 품질과 선호도 일치도는 어떻게 향상되는가?
- RQ3LLM-Personalize 프레임워크는 미리 보지 못한 가정 레이아웃과 물체-수용자 조합에 얼마나 잘 일반화되는가?
- RQ4자기학습 과정 동안 탐색과 이용의 균형은 어떻게 변화하며, 최종 작업 성능에 어떤 영향을 미치는가?
- RQ5애벌레 학습과 자기학습 단계 중 어느 것이 선호도 일치 계획에서 전체 성공률 향상에 더 큰 기여를 하는가?
주요 결과
- LLM-Personalize는 Housekeep 벤치마크에서 기존의 LLM 기반 계획가보다 성공률이 30퍼센트 이상 향상되어 강력한 선호도 일치도를 입증했다.
- 애벌레 학습 단계는 계획 실행 가능성에 크게 기여하여 성공적으로 실행된 고수준 행동의 비율을 높였으며, 고품질의 자기학습 데이터를 가능하게 했다.
- 자기학습 과정 중 에이전트는 탐색을 증가시키며, Scene 3에서 고유한 배치 수가 2.32에서 9.48로 증가했다. 이후 단계에서는 이용으로 전환했다.
- 모델은 새로운 물체 조합과 레이아웃으로 잘 일반화되며, 다양한 시나리오에서 훈련한 경우 테스트 성능이 향상되어 효과적인 도메인 간 전이가 이루어짐을 보여주었다.
- Scene 3에서는 과적합 현상이 관찰되었으며, 훈련 성능은 높았지만 테스트 성능은 감소했다. 이는 복잡한 시나리오에서 정규화가 필요함을 시사한다.
- 반복적 최적화를 통해 모델은 사용자 선호도에 기반해 정확한 물체 배치를 학습하고 유지하며, 잘못된 배치를 피하는 데 성공했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.