[논문 리뷰] Offline Policy Selection under Uncertainty

Mengjiao Yang, Bo Dai외 3명|arXiv (Cornell University)|2020. 12. 12.

Advanced Bandit Algorithms Research참고 문헌 50인용 수 10

한 줄 요약

이 논문은 오프라인 강화학습에서 정책 가치에 대한 믿음 분포를 추정하기 위한 베이지안 접근법인 BayesDICE를 제안한다. 분포 보정 비율에 대한 사후 정규화를 통해 불확실성 하에서 정책 순위 매기기를 유연하게 가능하게 하며, 상위-k 위험 및 상관관계와 같은 다양한 지표에서 점추정 기반 방법보다 뛰어난 성능을 보인다. 특히 후행 평가 기준이 순위 점수와 일치할 경우 성능 향상이 두드러진다.

ABSTRACT

The presence of uncertainty in policy evaluation significantly complicates the process of policy ranking and selection in real-world settings. We formally consider offline policy selection as learning preferences over a set of policy prospects given a fixed experience dataset. While one can select or rank policies based on point estimates of their policy values or high-confidence intervals, access to the full distribution over one's belief of the policy value enables more flexible selection algorithms under a wider range of downstream evaluation metrics. We propose BayesDICE for estimating this belief distribution in terms of posteriors of distribution correction ratios derived from stochastic constraints (as opposed to explicit likelihood, which is not available). Empirically, BayesDICE is highly competitive to existing state-of-the-art approaches in confidence interval estimation. More importantly, we show how the belief distribution estimated by BayesDICE may be used to rank policies with respect to any arbitrary downstream policy selection metric, and we empirically demonstrate that this selection procedure significantly outperforms existing approaches, such as ranking policies according to mean or high-confidence lower bound value estimates.

연구 동기 및 목표

• 고정된 오프라인 데이터셋을 기반으로 오프라인 정책 선택을 정책 전망에 대한 선호도 학습 문제로 공식화한다.
• 상위-k 위험 또는 정밀도와 같은 다양한 후행 평가 지표에서 성능이 떨어질 수 있는 점추정의 한계를 해결한다.
• 정책 가치에 대한 전체 사후 분포를 추정하는 방법을 개발하여 임의의 유틸리티 함수 하에서 민감하고 최적의 순위 매기기를 가능하게 한다.
• 보정 비율에 대한 베이지안 사후 정규화를 활용하여 오프정책 평가에서 신뢰구간 추정 정확도를 향상시킨다.
• 후행 지표와 순위 점수를 일치시키기 위해 사후 표본을 활용할 경우 정책 선택 성능이 크게 향상됨을 경험적으로 검증한다.

제안 방법

• BayesDICE는 명시적 가능도 대신 확률적 제약 조건을 사용하여 각 상태-행동 쌍에 대한 분포 보정 비율에 대한 사후 분포를 추정한다.
• 딥 Q넷의 마지막 레이어에 베이지안 선형 회귀를 적용하여 Q값의 불확실성을 모델링함으로써 DICE 프레임워크를 확장한다.
• 학습된 사후 분포에서의 몬테카를로 샘플링을 통해 정책 가치에 대한 신뢰구간과 믿음 분포를 추정할 수 있다.
• 마르코프 결정 과정에서 확률적 제약 조건을 충족하기 위해 사후 정규화를 사용하여 분포 이탈 및 사전 분포 불일치에 대한 강건성을 확보한다.
• 정책 순위 매기는 것은 알고리즘 1을 통해 수행되며, 사후 분포에서 시뮬레이션하여 상위-k 위험 또는 정밀도와 같은 임의의 후행 지표와 일치하는 점수를 계산한다.
• 이 방법은 이산 및 연속 제어 작업 전반에서 신뢰구간 커버리지 및 정책 선택 성능을 기반으로 평가된다.

실험 결과

연구 질문

• RQ1 빈도주의 점추정보다 베이지안 접근법이 오프정책 가치 추정에서 더 정확하고 강건한 정책 가치에 대한 믿음 분포를 제공할 수 있는가?
• RQ2 정책 선택에 사용하는 순위 점수를 후행 평가 지표와 일치시킬 경우, 평균 또는 하한 신뢰구간 추정보다 성능 향상이著명한가?
• RQ3 BayesDICE는 최신 기술 수준의 OPE 방법과 비교해 어떤 수준의 신뢰구간 추정 성능을 보이는가?
• RQ4 BayesDICE가 추정한 사후 분포를 다양한 유틸리티 함수 하에서 정책 선택 향상에 효과적으로 활용할 수 있는가?
• RQ5 BayesDICE의 성능 향상 효과는 다양한 오프라인 데이터셋 크기와 행동 정책에 걸쳐 강건한가?

주요 결과

• 신뢰구간 추정에서 BayesDICE는 모든 신뢰수준에서 거의 명목상의 경험적 커버리지 비율을 달성하며, 좁은 간격 너비를 보여 사후 정확도가 높음을 시사한다.
• 정책 선택에서 순위 점수를 일치시킨 BayesDICE($\hat{\mathcal{S}} = \mathcal{S}$)는 평균 또는 하한 신뢰구간 기반 순위 매기기보다 유의미하게 뛰어나며, 특히 상위-k 위험 최소화 측면에서 두각을 나타낸다.
• 이중 암반 태스크에서 순위 점수를 일치시킨 방법은 분석적 계산에 기반한 베이지안 최적 순위에 근접한 near-optimal 성능을 달성한다.
• Reacher 환경에서 BayesDICE는 다양한 데이터셋 크기에서 DualDICE 및 기타 점추정 기반 기준보다 상위-k 위험 및 상관관계 지표에서 모두 뛰어난 성능을 보였다.
• 하한 점추정은 평균 또는 상한 추정보다 항상 열등한 성능를 보이며, 정책 선택에서 보수적인 점추정을 사용할 경우 위험성이 있음을 시사한다.
• 경험적 결과는 전체 믿음 분포를 활용할 경우 단일 점추정, 심지어는 신뢰구간을 기반으로 한 추정보다도 더 강건하고 민감한 정책 선택이 가능함을 입증한다.