[논문 리뷰] Planning with Sequence Models through Iterative Energy Minimization

Hongyi Chen, Yilun Du외 3명|arXiv (Cornell University)|2023. 03. 28.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 강화학습을 위한 궤적을 개선하기 위해 마스크된 언어 모델 위에서 반복적인 에너지 최소화를 사용하는 플래너인 LEAP을 제안한다. 이중 방향적 맥락을 갖는 에너지 최소화로 간주함으로써 LEAP은 BabyAI 및 Atari 작업에서 성능을 향상시키며, 자동회귀 기반 모델보다 일반화 능력, 테스트 시 적응 능력, 계획 조합 능력이 향상된다.

ABSTRACT

Recent works have shown that sequence modeling can be effectively used to train reinforcement learning (RL) policies. However, the success of applying existing sequence models to planning, in which we wish to obtain a trajectory of actions to reach some goal, is less straightforward. The typical autoregressive generation procedures of sequence models preclude sequential refinement of earlier steps, which limits the effectiveness of a predicted plan. In this paper, we suggest an approach towards integrating planning with sequence models based on the idea of iterative energy minimization, and illustrate how such a procedure leads to improved RL performance across different tasks. We train a masked language model to capture an implicit energy function over trajectories of actions, and formulate planning as finding a trajectory of actions with minimum energy. We illustrate how this procedure enables improved performance over recent approaches across BabyAI and Atari environments. We further demonstrate unique benefits of our iterative optimization procedure, involving new task generalization, test-time constraints adaptation, and the ability to compose plans together. Project website: https://hychen-naza.github.io/projects/LEAP

연구 동기 및 목표

• 자동회귀 시퀀스 모델의 계획 능력에 한계가 있다는 점을 해결하기 위해, 이미 생성된 이전 액션을 수정할 수 없는 점을 해결한다.
• 이중 방향성 마스크된 언어 모델 위에서 반복적인 에너지 최소화로 계획을 설정함으로써 순차 모델을 사용한 궤적 계획을 가능하게 한다.
• BabyAI 및 Atari 환경과 같은 장기 수평 결정 문제에서 성능을 향상시키기 위해 노력한다.
• 동적 장애물이나 복잡한 미로와 같은 새로운 장애물이나 레이아웃을 가진 새로운 환경에 일반화할 수 있도록 한다.
• 다양한 목표를 가진 작업을 위해 여러 모델을 조합할 수 있는 복합 계획을 지원한다.

제안 방법

• 부정적 가짜 가능도를 사용하여 액션 궤적에 대한 암묵적 에너지 함수를 추정하기 위해 이중 방향성 마스크된 언어 모델(MLM)을 훈련한다.
• 궤적의 에너지를 MLM의 음의 로그가능도로 정의함으로써 에너지 기반 최적화를 가능하게 한다.
• 각 타임스텝에서 현재 맥락과 향후 액션을 고려해 가장 가능성 있는 액션으로 액션을 교체함으로써 반복적인 개선을 수행한다.
• 향후 정보가 개선 과정에서 이전 액션 선택에 영향을 주도록 이중 방향 맥락을 사용한다.
• 저에너지(높은 가능도) 궤적으로 수렴하도록 반복 최소화를 적용함으로써 목표를 충족하는 궤적을 확보한다.
• 에너지 최소화 과정을 새로운 제약 조건에 적응하고 여러 모델의 계획을 조합할 수 있는 플래너에 통합한다.

실험 결과

연구 질문

• RQ1 표준 자동회귀 생성 방식과 비교해, 순차 모델 위에서 반복적인 에너지 최소화가 강화학습의 궤적 계획 성능을 향상시킬 수 있는가?
• RQ2 순차 모델의 이중 방향 맥락이 궤적의 이전 액션을 더 잘 개선하는 데 기여하는가?
• RQ3 에너지 최소화 프레임워크가 새로운 장애물이나 복잡한 레이아웃을 가진 새로운 환경에 일반화 가능한가?
• RQ4 플래너가 동적 장애물이나 새로 도입된 장애물과 같은 테스트 시 제약 조건에 적응할 수 있는가?
• RQ5 이 프레임워크를 사용해 여러 학습된 모델을 조합하여 다목적 계획을 달성할 수 있는가?

주요 결과

• LEAP는 DT 및 IQL과 같은 자동회귀 기반 모델보다 온라인에서 테스트 시 장애물에 더 잘 적응하며, 중간 난이도 라바 환경에서 92.0%의 성공률을 기록한 반면 DT는 68.0%에 그친다.
• 새로운 미로 환경에서는 LEAP가 효과적으로 일반화되며, 중간 난이도에서 77.5%의 성공률, 고난이도에서 61.0%의 성공률을 기록한다. 반면 DT는 각각 36.0%와 24.5%로 떨어진다.
• 복합 작업 조합 테스트에서는 LEAP가 쉬운 케이스에서 83.5%의 성공률, 중간 난이도에서 43.0%의 성공률을 기록하며, IQL(42.5% 및 11.5%)과 DT(58.0% 및 15.5%)를 크게 앞서간다.
• LEAP는 복잡한 미로와 동적 장애물 상황에서도 뛰어난 내성성을 보이며, 반복적인 개선을 통해 라바 격자나 인식되지 않는 장애물을 우회하는 데 성공한다.
• 반복적인 에너지 최소화 과정은 장기 수평 계획에서 더 나은 성능을 보이며, 평가된 모든 벤치마크에서 일관된 성능 향상을 입증한다.
• 프레임워크는 복합 계획을 지원하며, 각 모델이 부분적인 정보만 관찰해도 여러 모델이 하나의 계획에 기여할 수 있도록 한다.