[논문 리뷰] Batch Policy Learning under Constraints

Hoai Minh Le, Cameron Voloshin외 1명|arXiv (Cornell University)|2019. 03. 20.

Reinforcement Learning in Robotics참고 문헌 59인용 수 12

한 줄 요약

이 논문은 학습 감소 기법을 활용해 온라인 학습과 지도 학습으로의 변환을 통해 다중 제약 조건 하에서 배치 정책 학습을 위한 새로운 메타알고리즘을 제안한다. PAC 스타일의 경계를 갖는 새로운 이방법 평가 기법을 도입하여 이론적으로 제약 조건을 만족시키고, 안전성과 부드러움 제약 조건이 있는 시뮬레이션 자동차 주행과 같은 고차원 제어 과제에서 뛰어난 경험적 성능을 달성한다.

ABSTRACT

When learning policies for real-world domains, two important questions arise: (i) how to efficiently use pre-collected off-policy, non-optimal behavior data; and (ii) how to mediate among different competing objectives and constraints. We thus study the problem of batch policy learning under multiple constraints, and offer a systematic solution. We first propose a flexible meta-algorithm that admits any batch reinforcement learning and online learning procedure as subroutines. We then present a specific algorithmic instantiation and provide performance guarantees for the main objective and all constraints. To certify constraint satisfaction, we propose a new and simple method for off-policy policy evaluation (OPE) and derive PAC-style bounds. Our algorithm achieves strong empirical results in different domains, including in a challenging problem of simulated car driving subject to multiple constraints such as lane keeping and smooth driving. We also show experimentally that our OPE method outperforms other popular OPE techniques on a standalone basis, especially in a high-dimensional setting.

연구 동기 및 목표

• 실생활 순차적 의사결정 과제에서 사전 수집된 비최적의 이방법 데이터로부터 효과적인 정책을 학습하는 데 도전한다.
• 자율 주행에서와 같이 이동 시간을 최소화하면서도 안전성과 쾌적성을 확보하는 등 상충되는 목표와 제약 조건 간의 균형을 맞춘다.
• 배치 학습 환경에서 주요 목표와 제약 조건 만족에 대한 이론적 보장을 제공한다.
• 제약 조건 준수를 검증하기 위한 PAC 스타일 경계를 갖는 새로운 단순한 이방법 평가 기법을 개발한다.
• 다양한 제약 조건이 존재하는 탐색 및 고차원 자동차 레이싱 과제에서 방법의 경험적 타당성을 검증한다.

제안 방법

• 프레임워크는 제약 조건이 있는 배치 정책 학습 문제를 배치 강화 학습과 온라인 학습의 서브루틴으로 환원하는 메타알고리즘을 사용한다.
• 다중 수준의 학습 감소를 적용하여 제약 조건이 있는 문제를 성능 보장이 있는 순차적 지도 학습 및 온라인 학습 과제로 변환한다.
• 중요도 샘플링 기반의 새로운 이방법 평가 기법을 제안하며, 새로운 보정 메커니즘을 통해 신뢰할 수 있는 제약 조건 검증을 가능하게 한다.
• 고차원 환경에서 가치 함수 및 정책 함수 추정을 위해 딥 신경망(예: CNN)을 사용한 함수 근사 기법을 적용한다.
• 혼합 정책 최적화를 위해 하이퍼파ram터 $ B=10 $, $ \eta = 0.01 $를 사용한 Exponentiated Gradient 알고리즘을 서브루틴으로 활용한다.
• 다양한 기본 정책으로 구성된 혼합 정책을 생성함으로써 제약 조건 만족의 강건성을 확보하면서 주요 목표를 향상시킨다.

실험 결과

연구 질문

• RQ1 비최적의 이방법 데이터에서 학습된 정책이 이론적 보장 하에 다중 제약 조건을 만족시킬 수 있는가?
• RQ2 온라인 상호작용 없이 순차적 의사결정 과정에서 제약 조건 만족 여부를 어떻게 검증할 수 있는가?
• RQ3 학습 감소 기법과 새로운 OPE 기법을 활용해 배치 강화 학습에서 표본 효율성과 제약 조건 준수를 향상시킬 수 있는가?
• RQ4 고차원, 장수명 환경에서 제안된 OPE 기법은 기존 기법과 비교해 어떻게 성능을 발휘하는가?
• RQ5 자율 주행에서 속도, 안전성, 부드러움과 같은 상충되는 목표를 얼마나 잘 균형 잡을 수 있는가?

주요 결과

• 제안된 이방법 평가 기법은 특히 고차원 환경에서 안정성 향상과 분산 감소 덕분에 기존 기법보다 뛰어난 성능을 보였다.
• 모의 자동차 레이싱 환경에서 알고리즘이 강력한 경험적 성과를 달성했으며, 차선 유지 및 부드러운 주행 제약 조건을 모두 만족시켰다.
• 이론적 분석을 통해 비선형 함수 근사에 대한 표본 복잡도 경계를 $ O(n^4) $ 에서 $ O(n^2) $ 로 향상시켜 데이터 효율성을 높였다.
• 자동차 레이싱 실험에서 격자 탐색을 통해 얻은 정규화된 정책 중 약 10%만이 두 제약 조건을 모두 만족했지만, 제안된 방법은 일관된 제약 조건 만족을 달성했다.
• 혼합 정책 접근법은 혼합 내 각 개별 정책가 제약 조건을 일관되게 만족시키며, 일반적으로 데이터 생성 정책보다 주요 목표에서 뛰어난 성능을 발휘했다.
• 모델 기반 OPE 기법인 Doubly Robust 및 Weighted Doubly Robust는 고차원, 장수명 도메인에서 동역학 모델의 정확도가 떨어져 실패했다.