[논문 리뷰] How to Fine-tune the Model: Unified Model Shift and Model Bias Policy Optimization

Hai Zhang, Hang Yu외 6명|arXiv (Cornell University)|2023. 09. 22.

Reinforcement Learning in RoboticsComputer Science인용 수 3

한 줄 요약

이 논문은 모델 기반 강화 학습 미세조정 중 모델 이동과 모델 편향을 동시에 최소화하는 통합 정책 최적화 프레임워크인 USB-PO를 제안한다. 이론적으로 탄탄한 목적 함수를 유도함으로써 이러한 두 요소를 적절히 균형 잡는다. USB-PO는 과적합을 방지하면서 성능 향상 보장을 보장하며, 도전적인 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Designing and deriving effective model-based reinforcement learning (MBRL) algorithms with a performance improvement guarantee is challenging, mainly attributed to the high coupling between model learning and policy optimization. Many prior methods that rely on return discrepancy to guide model learning ignore the impacts of model shift, which can lead to performance deterioration due to excessive model updates. Other methods use performance difference bound to explicitly consider model shift. However, these methods rely on a fixed threshold to constrain model shift, resulting in a heavy dependence on the threshold and a lack of adaptability during the training process. In this paper, we theoretically derive an optimization objective that can unify model shift and model bias and then formulate a fine-tuning process. This process adaptively adjusts the model updates to get a performance improvement guarantee while avoiding model overfitting. Based on these, we develop a straightforward algorithm USB-PO (Unified model Shift and model Bias Policy Optimization). Empirical results show that USB-PO achieves state-of-the-art performance on several challenging benchmark tasks.

연구 동기 및 목표

• 모델 기반 강화 학습(MBRL)에서 모델 학습과 정책 최적화 간의 높은 결합도 문제를 해결하기 위해.
• 기존 방법이 모델 이동을 제약하기 위해 고정된 임계값에 의존함으로써 학습 중 적응성이 떨어지는 한계를 극복하기 위해.
• 모델 이동과 모델 편향을 하나의 이론적으로 탄탄한 최적화 목적 함수로 통합하기 위해.
• 성능 향상 보장을 보장하면서 과적합을 방지할 수 있도록 적응적으로 모델 업데이트를 조정하는 미세조정 프로세스를 개발하기 위해.
• 원칙적이고 적응적인 알고리즘을 통해 도전적인 MBRL 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 저자들은 모델 이동과 모델 편향을 동시에 고려하는 통합 최적화 목적 함수를 유도하여 동시 최소화를 가능하게 한다.
• 이 방법은 모델 이동을 명시적으로 포함한 성능 차이 경계를 도입하여 고정 임계값에 의존하지 않는다.
• 편향과 이동 간의 트레이드오프에 기반해 동적으로 모델 업데이트를 조정하는 미세조정 프로세스를 제안한다.
• 통합 목적 함수를 통합한 정책 최적화 프레임워크를 사용하여 이론적 성능 보장을 보장한다.
• 최종적으로 유도된 알고리즘인 USB-PO(통합 모델 이동 및 모델 편향 정책 최적화)는 구현이 간단하며 기존의 MBRL 파ip라인에 원활하게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 모델 기반 강화 학습에서 모델 이동과 모델 편향을 어떻게 통합적으로 최적화할 수 있을까? 이는 성능 향상을 보장하기 위한 것이다.
• RQ2 모델 이동에 대한 고정 임계값 제약의 이론적으로 탄탄한, 적응형 대안은 무엇인가?
• RQ3 모델 이동과 편향을 균형 잡은 통합 목적 함수는 MBRL에서 일반화 및 강건성 향상에 기여할 수 있는가?
• RQ4 제안된 방법은 도전적인 환경에서 기존의 MBRL 알고리즘과 비교해 샘플 효율성과 최종 성능 측면에서 어떻게 다른가?
• RQ5 적응적인 모델 업데이트 스케줄링은 과적합을 방지하고 정책 성능를 유지하는 데 어떤 영향을 미치는가?

주요 결과

• USB-PO는 여러 도전적인 모델 기반 강화 학습 벤치마크에서 최신 기술 수준의 성능를 달성하며 기존 방법을 능가한다.
• 알고리즘은 학습 중 모델 이동과 모델 편향을 적응적으로 균형 잡음으로써 성능 향상 보장을 보장한다.
• 고정 임계값을 사용하지 않음으로써 USB-PO는 다양한 학습 환경에서 더 높은 적응성과 강건성을 보여준다.
• 실험 결과는 통합 목적 함수가 과적합을 효과적으로 방지하고 안정적인 정책 학습을 유지하는 데 기여함을 보여준다.
• 유사한 설계 원칙을 가진 기존 MBRL 알고리즘과 비교해 더 뛰어난 샘플 효율성과 최종 정책 성능를 달성한다.