[논문 리뷰] Local policy search with Bayesian optimization

Sarah Müller, Alexander von Rohr외 1명|arXiv (Cornell University)|2021. 06. 22.

Advanced Multi-Objective Optimization Algorithms인용 수 10

한 줄 요약

이 논문은 확률적 자코비안 가우시안 프로세스 모델을 사용하여 정보가 풍부한 정책 파라미터를 능동적으로 선택함으로써 베이지안 최적화와 기울기 기반 정책 최적화를 통합하는 새로운 정책 탐색 방법인 기울기 정보를 통한 베이지안 최적화(GIBO)를 제안한다. GIBO는 정확한 사전 지식이 존재할 경우, 무작위 샘플링 기반 방법에 비해 샘플 효율성이 크게 향상되고 기울기 추정의 분산이 감소한다.

ABSTRACT

Reinforcement learning (RL) aims to find an optimal policy by interaction with an environment. Consequently, learning complex behavior requires a vast number of samples, which can be prohibitive in practice. Nevertheless, instead of systematically reasoning and actively choosing informative samples, policy gradients for local search are often obtained from random perturbations. These random samples yield high variance estimates and hence are sub-optimal in terms of sample complexity. Actively selecting informative samples is at the core of Bayesian optimization, which constructs a probabilistic surrogate of the objective from past samples to reason about informative subsequent ones. In this paper, we propose to join both worlds. We develop an algorithm utilizing a probabilistic model of the objective function and its gradient. Based on the model, the algorithm decides where to query a noisy zeroth-order oracle to improve the gradient estimates. The resulting algorithm is a novel type of policy search method, which we compare to existing black-box algorithms. The comparison reveals improved sample complexity and reduced variance in extensive empirical evaluations on synthetic objectives. Further, we highlight the benefits of active sampling on popular RL benchmarks.

연구 동기 및 목표

• 강화학습에서 정책 기반 방법의 높은 샘플 복잡도 문제를 해결하기 위해.
• 무작위 변동이 아닌 정보가 풍부한 정책 파라미터를 능동적으로 선택하여 기울기 추정 정확도를 향상시키기 위해.
• 베이지안 최적화의 능동적 샘플링 전략을 국소 정책 탐색에 통합하여 더 높은 샘플 효율성을 달성하기 위해.
• 기울기와 목적 함수를 동시에 모델링하기 위해 가다리안 프로세스 사전분포를 사용하는 방법을 개발하기 위해.
• 합성 목적 함수와 표준 강화학습 벤치마크에서의 성능 평가를 통해 사전 지식이 있을 경우 성능 향상이 이루어지는지 확인하기 위해.

제안 방법

• GIBO는 목적 함수와 그 자코비안을 모델링하기 위해 가우시안 프로세스(GP)를 사용하여 함수 값과 기울기의 동시 사후 추론을 가능하게 한다.
• 알고리즘은 기울기 추정의 불확실성을 캡처하는 자코비안 GP 모델을 활용하여 정보가 풍부한 쿼리 포인트를 능동적으로 선택한다.
• 쿼리 포인트는 자코비안의 불확실성을 최소화하는 할당 함수를 통해 선택되며, 베이지안 최적화 원칙을 따르는 방식이다.
• 이 방법은 제0차 오라클 액세스를 위해 설계되어 표준 정책 기반 기울기 프레임워크와 호환된다.
• 기존 또는 학습된 GP 길이 척도를 사용한 기울기 정규화는 성능 향상과 분산 감소에 기여한다.
• 가용한 1차 기울기 정보를 자연스럽게 통합할 수 있어 기존 정책 최적화 알고리즘과의 통합이 가능하다.

실험 결과

연구 질문

• RQ1 사전 지식이 존재할 경우, 베이지안 최적화를 통한 능동적 샘플링이 정책 탐색에서 샘플 복잡도를 줄일 수 있는가?
• RQ2 GIBO의 능동적 샘플링 전략은 기울기 분산과 수렴 속도 측면에서 무작위 변동에 비해 어떻게 비교되는가?
• RQ3 GIBO는 MuJoCo 및 OpenAI Gym 환경과 같은 표준 강화학습 벤치마크에서 성능을 얼마나 향상시키는가?
• RQ4 목적 함수에 대한 모델 오Specification 또는 잘못된 가정에 대해 GIBO의 성능는 얼마나 민감한가?
• RQ5 기울기 정규화와 상태 정규화는 GIBO의 샘플 효율성과 안정성에 어떤 영향을 미치는가?

주요 결과

• 300회 함수 평가 이후, GIBO는 12-, 24-, 36차원 합성 목적 함수에서 무작위 샘플링 기반 방법에 비해 유의미하게 낮은 회귀 손실을 기록했으며, 기울기 정규화를 적용할 경우 손실이 50% 감소했다.
• LQR 벤치마크에서 GIBO는 100회 이하의 평가로 안정화 제어기를 찾았으며, ARS 및 LSPI보다 샘플 효율성이 뛰어나게 성능을 냈다.
• Hopper-v1과 같은 MuJoCo 작업에서는 GIBO가 ARS보다 목표 보상 임계치에 더 빨리 도달했고, 분산이 더 낮아 샘플 효율성이 향상됨을 보였다.
• 절단 실험 결과, GP 하이퍼파rameter가 학습 중에 추정되더라도 기울기 정규화가 평균 성능 향상과 분산 감소에 기여함을 확인했다.
• Hopper-v1에서 상태 정규화는 잘 성능을 내는 정책를 학습하는 데 필수적이었으며, 이는 강화학습에서 GP 회귀에 대한 입력 전처리의 중요성을 강조한다.
• 모델 가정(예: 미분 가능한 GP 사전분포)이 정확하게 충족되지 않더라도 GIBO는 여전히 우수한 성능를 유지하며, 경미한 오Specification에 대해 강건함을 보였다.