[논문 리뷰] Smoothing Policies and Safe Policy Gradients

Matteo Papini, Matteo Pirotta외 1명|arXiv (Cornell University)|2019. 05. 08.

Energy, Environment, and Transportation Policies인용 수 5

한 줄 요약

이 논문은 스무딩 정책과 안전 정책 기울기(Smoothing Policies and Safe Policy Gradients, SPG)라는 새로운 정책 기울기 알고리즘을 제안한다. 이 알고리즘은 단계 크기와 배치 크기를 적응적으로 조정하여 안전 제약 조건 하에서 성능 향상의 단조성 보장을 한다. 확률적 최적화를 통해 정책 기울기를 분석하고 날카운 가중 분산 한계를 도출함으로써, SPG는 연속 제어 작업에서 가우시안 정책을 사용하는 경우조차도 높은 확률로 성능이 악화되지 않음을 보장한다.

ABSTRACT

Policy Gradient (PG) algorithms are among the best candidates for the much-anticipated applications of reinforcement learning to real-world control tasks, such as robotics. However, the trial-and-error nature of these methods poses safety issues whenever the learning process itself must be performed on a physical system or involves any form of human-computer interaction. In this paper, we address a specific safety formulation, where both goals and dangers are encoded in a scalar reward signal and the learning agent is constrained to never worsen its performance, measured as the expected sum of rewards. By studying actor-only policy gradient from a stochastic optimization perspective, we establish improvement guarantees for a wide class of parametric policies, generalizing existing results on Gaussian policies. This, together with novel upper bounds on the variance of policy gradient estimators, allows us to identify meta-parameter schedules that guarantee monotonic improvement with high probability. The two key meta-parameters are the step size of the parameter updates and the batch size of the gradient estimates. Through a joint, adaptive selection of these meta-parameters, we obtain a policy gradient algorithm with monotonic improvement guarantees.

연구 동기 및 목표

• 온라인 학습 중 성능이 악화되지 않도록 보장함으로써 강화학습의 안전성을 해결한다.
• 이전에 가우시안 정책에 국한되어 있던 단조적 향상 보장을 다양한 종류의 매개변수 정책으로 일반화한다.
• 안정성과 수렴성을 향상시키기 위해 정책 기울기 추정기의 분산에 대한 새로운 상한을 유도한다.
• 시험-오류 학습이 성능 악화를 유발해서는 안 되는 실제 제어 과제에서의 안전 탐색을 가능하게 한다.
• 높은 확률로 단조적 향상 보장을 보장하는 실용적인 알고리즘을 제공하며, 단계 크기와 배치 크기의 적응적 스케줄링을 수행한다.

제안 방법

• 정책 기울기 갱신을 스트로스틱 최적화 문제로 공식화하며, 정책 기울기의 부드러움과 집중 성질을 활용한다.
• 성능 목표를 실증적 평균과 분산 추정치에 기반해 동적으로 조정하는 마일스톤 제약 조건을 도입한다.
• 수익 추정에 대한 허프딩 유형 부등식에서 유도된 신뢰 구간을 활용해 배치 크기와 단계 크기를 적응적으로 선택한다.
• 정책의 부드러움과 수익의 범위에 따라 의존하는 정책 기울기 추정기의 새로운 분산 상한을 활용한다.
• 고정된 단계 크기와 적응적인 배치 크기를 조합한 갱신 규칙을 사용하며, 배치 크기가 기울기 추정 오차가 충분히 작아질 때까지 증가시킨다.
• 실증적 평균과 신뢰 구간을 통해 성능을 모니터링하며, 향상이 통계적으로 보장될 경우에만 갱신을 진행한다.

실험 결과

연구 질문

• RQ1 안전 제약 조건 하에서 정책 기울기 방법이 성능 악화를 방지함으로써 단조적 성능 향상을 보장할 수 있는가?
• RQ2 정책 기울기 추정기의 분산을 어떻게 제한할 수 있으며, 이는 신뢰할 수 있는 향상 보장을 가능하게 하는가?
• RQ3 실제로 높은 확률로 단조적 향상 보장을 보장하기 위해 단계 크기와 배치 크기의 적응적 스케줄링은 어떻게 해야 하는가?
• RQ4 기존에 가우시안 정책에 국한되어 있던 이론적 향상 보장은 더 넓은 매개변수 정책의 범주로 일반화될 수 있는가?
• RQ5 외부 안전 신호나 인간의 지시 없이도 실제 강화학습 응용에서 안전 탐색을 어떻게 달성할 수 있는가?

주요 결과

• SPG 알고리즘은 수익 추정의 신뢰 구간을 기반으로 단계 크기와 배치 크기를 적응적으로 조정함으로써, 높은 확률로 단조적 향상 보장을 한다.
• 이 방법은 이전에 가우시안 정책에 국한되어 있던 결과를 초월해 다양한 종류의 매개변수 정책에 대해 이론적 향상 보장을 달성한다.
• 정책의 부드러움과 보상의 범위에 따라 의존하는 정책 기울기 추정기의 분산에 대한 새로운 상한이 도출되었으며, 이는 더 날카운 신뢰 구간을 가능하게 한다.
• LQR 및 Cart-Pole 과제에 대한 실험 결과, SPG는 노이즈가 있는 기울기 추정이 있더라도 모든 에피소드에서 성능을 유지하거나 향상시키며 악화가 발생하지 않았다.
• 적응적인 배치 크기 스케줄링 덕분에 기울기 추정 오차가 임계값 이하로 유지되며, 이는 향상 보장 유지를 위해 필수적이다.
• 마일스톤 제약 조건은 성능 목표를 동적으로 조정하여 알고리즘이 안전하게 탐색하면서도 성능 저하를 방지할 수 있도록 한다.