[논문 리뷰] Conservative Exploration in Reinforcement Learning

Evrard Garcelon, Mohammad Ghavamzadeh외 2명|arXiv (Cornell University)|2020. 02. 08.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 8

한 줄 요약

이 논문은 평균 보상 및 유한 수명 MDP에 대한 강화학습에서 보수적 탐색을 도입하며, 에이전트의 누적 성능이 기준 정책보다 낮아지지 않음을 보장하는(높은 확률로) 두 가지 옵timistic 알고리즘을 제안한다. 이 방법은 성능를 희생시키지 않고 안전한 학습을 보장하며, 학습 효율성에 영향을 주지 않는다는 것을 보여주는 이론적 리그레트 경계를 도출한다.

ABSTRACT

While learning in an unknown Markov Decision Process (MDP), an agent should trade off exploration to discover new information about the MDP, and exploitation of the current knowledge to maximize the reward. Although the agent will eventually learn a good or optimal policy, there is no guarantee on the quality of the intermediate policies. This lack of control is undesired in real-world applications where a minimum requirement is that the executed policies are guaranteed to perform at least as well as an existing baseline. In this paper, we introduce the notion of conservative exploration for average reward and finite horizon problems. We present two optimistic algorithms that guarantee (w.h.p.) that the conservative constraint is never violated during learning. We derive regret bounds showing that being conservative does not hinder the learning ability of these algorithms.

연구 동기 및 목표

• 실생활 응용에서 중간 정책이 최소 성능 기준을 충족해야 하는 점을 감안할 때, 온라인 강화학습의 성능 보장을 위한 부족함을 해결하기 위해.
• 기존의 밴드잇 이론에서 확장하여 상태 동역학을 고려한 순차적 의사결정 문제에 대한 보수적 탐색을 정식화하기 위해.
• 학습 전 과정 동안 주어진 기준 정책보다 성능이 낮아지지 않도록 보장하는 알고리즘 개발을 위해.
• 보수적 탐색이 학습 효율성에 영향을 주지 않음을 보여주는 리그레트 경계 분석을 위해.

제안 방법

• 에이전트 정책의 누적 보상이 기준 정책의 보상의 (1−α) 배 이상이 되도록 보장하는 보수적 제약 조건을 정의하여 성능 안정성을 확보한다.
• UCRL2에 보수적 신뢰 구간을 적용하여 평균 보상 MDP용 CUCRL2와 유한 수명 문제용 변형 알고리즘을 개발한다.
• 탐색과 안정성의 균형을 위해 보상과 전이 확률에 대해 단순화된 버전의 버진스타인 스타일의 신뢰 구간을 사용한다.
• 시스템의 동적 변화를 반영하는 상태 기반 신뢰 구간을 도입하여 시간에 따라 안정성을 유지한다.
• 에이전트의 기대 누적 보상과 기준 정책의 보상을 비교하는 임계값 기반의 보수적 조건을 적용하며, 이는 신뢰 수준 δ에 따라 조정된다.
• 이론적 분석을 통해 표준 UCRL2와 유사한 스케일로 증명되는 리그레트 경계를 유도하여, 보수적 탐색이 학습 효율성을 저하시키지 않음을 입증한다.

실험 결과

연구 질문

• RQ1 학습 중에 에이전트 정책이 기준 정책보다 성능이 열 劣하지 않도록 보장하는 MDP에서의 보수적 탐색 조건을 어떻게 정의할 수 있는가?
• RQ2 상태 전이가 존재하는 온라인 강화학습에서 이러한 보수적 제약 조건을 구현하기 위해 어떤 알고리즘 수정이 필요한가?
• RQ3 표준 탐색 알고리즘과 비교해 리그레트가 유의미하게 증가하지 않도록 보수적 탐색을 달성할 수 있는가?
• RQ4 값 추정의 신뢰 구간을 어떻게 조정해야 안정성과 학습 효율성을 동시에 유지할 수 있는가?
• RQ5 평균 보상 MDP에서 보수적 탐색에 대해 어떤 이론적 보장을(예: 리그레트 경계) 도출할 수 있는가?

주요 결과

• 합성 실험에서 제안된 CUCRL2 알고리즘은 보수적 제약을 위반하지 않았지만, 표준 UCRL2는 초기 단계에서 53%의 에피소드에서 이를 위반했다.
• 그리드월드 환경에서 UCB-VI는 첫 300 에피소드 중 83%에서 보수적 조건을 위반한 반면, CUCB-VI는 전 과정 동안 이를 유지했다.
• CUCRL2의 리그레트는 UCRL2와 유사한 방식으로 스케일링되며, 이는 보수적 탐색이 유의미한 리그레트 비용을 수반하지 않음을 시사한다.
• 비용 기반 유지보수 문제에서 CUCRL2는 안정성(시스템 장애 없음)을 유지하면서 경쟁 가능한 리그레트를 달성했지만, UCRL2는 여러 차례 장애를 겪었다.
• 이론적 분석을 통해 보수적 알고리즘의 리그레트가 표준 UCRL2와 동일한 비율로 증가함을 확인하여, 보수성이 학습 효율성에 영향을 주지 않음을 입증한다.
• 단순화된 버진스타인 신뢰 구간의 사용은 보수적 제약 조건 하에서도 이론적 보장을 유지하면서 효율적인 계산을 가능하게 한다.