[논문 리뷰] Model-Based Offline Planning with Trajectory Pruning

Xianyuan Zhan, Xiangyu Zhu외 1명|arXiv (Cornell University)|2021. 05. 16.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

MOPP는 동적 모델의 불확실성에 기반한 분포 외 경로 제거를 통해 행동 정책 가이던스와 Q-값 기반의 액션 선택을 통해 경로 롤아웃의 공격성을 향상시키는 경량의 모델 기반 오프라인 계획 프레임워크이다. 최신 오프라인 강화학습 및 모델 기반 계획 방법과 비교해 경쟁적인 성능을 달성하며, 실세계 적용에 있어 뛰어난 제어 유연성을 제공한다.

ABSTRACT

The recent offline reinforcement learning (RL) studies have achieved much progress to make RL usable in real-world systems by learning policies from pre-collected datasets without environment interaction. Unfortunately, existing offline RL methods still face many practical challenges in real-world system control tasks, such as computational restriction during agent training and the requirement of extra control flexibility. The model-based planning framework provides an attractive alternative. However, most model-based planning algorithms are not designed for offline settings. Simply combining the ingredients of offline RL with existing methods either provides over-restrictive planning or leads to inferior performance. We propose a new light-weighted model-based offline planning framework, namely MOPP, which tackles the dilemma between the restrictions of offline learning and high-performance planning. MOPP encourages more aggressive trajectory rollout guided by the behavior policy learned from data, and prunes out problematic trajectories to avoid potential out-of-distribution samples. Experimental results show that MOPP provides competitive performance compared with existing model-based offline planning and RL approaches.

연구 동기 및 목표

• 모델 기반 오프라인 강화학습에서 흔히 발생하는 과도한 제약성 계획 문제를 해결하여 성능과 탐색 능력을 향상시키기.
• 실세계 로봇공학 및 산업 제어 시스템에서 흔한 계산 자원 제약 조건 하에서도 고성능 계획을 가능하게 하기.
• 재학습 없이도 동적 보상 변경과 상태 기반 제약 조건을 허용함으로써 제어의 유연성을 도입하기.
• 행동 정책 가이던스와 불확실성 기반 경로 제거를 조합하여 탐색과 안전성의 균형을 이루기.
• 기본 베이스라인인 오프라인 강화학습 및 모델 기반 계획 방법과 비교해 경쟁적인 성능 달성하기

제안 방법

• 오프라인 데이터셋에서 시스템 동역학과 행동 정책을 학습하기 위해 자동회귀 동역학 모델(ADM)의 앙상블을 사용한다.
• 행동 정책에 의해 가이던스되지만 제어 가능한 편차를 통해 탐색을 장려하는 경로 롤아웃을 수행한다.
• 각 계획 단계에서 오프라인 Q-값 추정치를 기반으로 높은 보상 액션을 우선순위화하기 위해 탐욕적인 max-Q 연산을 적용한다.
• 동역학 모델 예측의 불확실성 평가를 통해 알 수 없는 상태-액션 쌍을 포함한 경로를 제거한다.
• 탐색과 안전성의 균형을 이루기 위해 불확실성 임계치(L)를 통합하여 분포 외(OoD) 샘플을 피한다.
• 경량 최적화 기법(예: CEM)을 사용한 경량 예측 제어(MPC)를 활용해 효율적이고 실시간 계획을 수행한다.

실험 결과

연구 질문

• RQ1 모델 기반 오프라인 계획 프레임워크는 기존 방법에서 흔히 발생하는 과도한 제약성 행동을 피하면서도 높은 성능을 달성할 수 있는가?
• RQ2 온라인 상호작용 없이도 불확실성 기반 경로 제거가 오프라인 계획에서 안전성과 성능을 어떻게 향상시키는가?
• RQ3 행동 정책 가이던스와 Q-값 추정에 기반한 공격적인 롤아웃이 오프라인 제어 과제에서 샘플 효율성과 수익을 얼마나 향상시키는가?
• RQ4 표준 강화학습 방법과 비교해 MOPP는 보상 함수나 제약 조건이 변화할 경우에도 성능와 유연성을 유지할 수 있는가?
• RQ5 오프라인 계획에서 탐색(샘플링 편차를 통한)과 안전성(불확실성 기반 제거를 통한) 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• MOPP는 최신 오프라인 강화학습 및 모델 기반 계획 방법과 비교해 경쟁적인 성능을 달성하며, 대부분의 벤치마크에서 MBOP를 능가한다.
• max-Q 연산은 가치 함수만으로 제공하는 가이던스보다 강력한 지침을 제공함으로써 성능을 크게 향상시키며, 특히 단기 계획에서 두드러진다.
• 최적의 불확실성 임계치(L=2.0)를 사용한 경로 제거가 가장 높은 성능과 가장 낮은 분산을 달성하며, 과도하게 엄격하거나 관대한 임계치는 성능을 떨어뜨린다.
• 짧은 계획 수평(H=2,4)에서도 MOPP는 높은 성능을 유지함으로써 효율성과 강건성을 입증한다.
• MOPP는 효과적인 제어 유연성을 제공한다: Q-값 재평가 또는 제거 조건 재설정만으로도 재학습 없이도 새로운 보상 함수나 제약 조건에 적응할 수 있다.
• 제약 조건이 있는 과제에서는 불확실성 기반 제거를 통한 MOPP-RC가 제약 위반을 효과적으로 줄이며 높은 성능을 유지하며, 보상 페널티 전용 접근법보다 뛰어난 성능을 보인다.