[논문 리뷰] Policy Certificates: Towards Accountable Reinforcement Learning

Christoph Dann, Lihong Li외 2명|arXiv (Cornell University)|2018. 11. 07.

Advanced Bandit Algorithms Research참고 문헌 43인용 수 19

한 줄 요약

이 논문은 강화학습을 위한 정책 인증서—기대 수익에 대한 신뢰구간과 부적합도 경계—를 소개한다. 이를 통해 학습 중 실시간 책임성 확보가 가능해진다. 유망성에 대한 불확실성(OFU)과 모델 기반 정책 평가를 조합함으로써 제안된 ORLC 알고리즘은 하위항목 항목을 제외한 최소최대 최적의 PAC 경계를 확보하고, 특히 고수평선 설정에서 뛰어난 샘플 효율성을 보인다.

ABSTRACT

The performance of a reinforcement learning algorithm can vary drastically during learning because of exploration. Existing algorithms provide little information about the quality of their current policy before executing it, and thus have limited use in high-stakes applications like healthcare. We address this lack of accountability by proposing that algorithms output policy certificates. These certificates bound the sub-optimality and return of the policy in the next episode, allowing humans to intervene when the certified quality is not satisfactory. We further introduce two new algorithms with certificates and present a new framework for theoretical analysis that guarantees the quality of their policies and certificates. For tabular MDPs, we show that computing certificates can even improve the sample-efficiency of optimism-based exploration. As a result, one of our algorithms is the first to achieve minimax-optimal PAC bounds up to lower-order terms, and this algorithm also matches (and in some settings slightly improves upon) existing minimax regret bounds.

연구 동기 및 목표

• 탐색 중 성능 변동으로 인한 강화학습의 책임감 부족 문제를 해결하기 위해.
• 고위험 응용 분야에서 정책 성능이 인증된 기준 이하로 떨어질 경우 인간의 간섭을 가능하게 하기 위해.
• 학습 중 각 에피소드의 성능 경계를 보장하는 이론적 프레임워크(IPOC)를 개발하기 위해.
• OFU 기반 알고리즘에 정책 인증서를 활용하여 샘플 효율성을 향상시키기 위해.
• 정책 품질이 환자나 맥락 특성에 따라 달라지는 맥락 기반 MDP로 책임감을 확장하기 위해.

제안 방법

• 기대 수익에 대한 신뢰구간(정책 수익 인증서)과 부적합도 경계(정책 최적성 인증서)로 구성된 정책 인증서를 제안한다.
• 각 에피소드의 성능 보장을 공식적으로 분석할 수 있는 IPOC 프레임워크를 도입하며, 이는 유사한 회귀, PAC, KWIK 프레임워크보다 더 강력하다.
• 동일한 경험 모델을 사용하여 OFU 기반 정책 학습과 모델 기반 정책 평가를 조합한다.
• 전이 및 보상 모델에 대한 신뢰집합을 사용하여 정책 수익과 최적 수익에 대한 강건한 경계를 계산한다.
• 표본 MDP와 선형 맥락이 있는 유한 MDP에 적용하여 맥락 인식 성능 인증을 가능하게 한다.
• 유망성과 신뢰집합 간의 이중성 관계를 활용하여 정책 학습과 인증서 정확도를 동시에 향상시킨다.

실험 결과

연구 질문

• RQ1 강화학습 알고리즘이 인간 감시를 지원하기 위해 학습 중 실시간으로 해석 가능한 성능 보장을 제공할 수 있는가?
• RQ2 에피소드 기반 강화학습에서 기대 수익과 부적합도를 모두 봉인할 수 있는 정책 인증서는 어떻게 구성할 수 있는가?
• RQ3 정책 인증서를 통합함으로써 OFU 기반 강화학습 알고리즘의 샘플 효율성이 향상되는가?
• RQ4 IPOC 프레임워크는 기존의 PAC, 회귀, KWIK 프레임워크보다 더 강력한 이론적 보장을 제공할 수 있는가?
• RQ5 성능 변동성이 높은 고수평선 또는 맥락 의존성 MDP에서 정책 인증서는 어떻게 작동하는가?

주요 결과

• ORLC 알고리즘은 표본 MDP에서 하위항목 항목을 제외한 최소최대 최적의 PAC 경계를 확보하며, 기존 최상의 성능 경계를 초월한다.
• 고수평선 MDP(50단계)에서, UCBVI-BF와 UBEV와 같은 경쟁자들 역시 최소최대 최적의 회귀 경계를 확보하고 있음에도 불구하고, ORLC는 최적 정책으로 수렴하는 데 훨씬 더 빠르게 수렴한다.
• ORLC의 정책 인증서는 맥락 없는 다중 암시적 밴드잇 문제에서도 탐색 중 성능 저하를 성공적으로 예측한다. 이는 맥락 기반 기준선이 실패하는 상황에서조차도 성립한다.
• 인증서 계산 과정 자체가 OFU 알고리즘의 성능을 향상시키며, 인증서와 학습 효율성 간의 상호보완적 상호작용을 입증한다.
• 맥락 기반 MDP에서는 희귀하거나 이례적인 맥락에서 낮은 품질의 정책을 조기에 탐지할 수 있어, 즉각적인 인간 간섭이 가능하다.
• 실험 결과, ORLC에서 인증서 계산을 통해 유도된 더 타이트한 유망성 보너스는 UCBVI-BF의 근사 경계보다 더 뛰어난 샘플 효율성을 보였다.