[논문 리뷰] A comparative study of counterfactual estimators

Thomas Nédelec, Nicolas Le Roux외 1명|arXiv (Cornell University)|2017. 04. 03.

Advanced Causal Inference Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 오프-폴리시 반사적 추정기—기본 중요도 샘플링(BIS), 정규화된 중요도 샘플링(NIS), 경험 평균(EA), 융합 추정기—를 종합적으로 비교하여, NIS가 보상 분산에 따라 BIS와 EA 사이의 보간으로 작용함을 보여준다. 주요 기여는 편향이 없는 최적의 추정기를 유도하여 저분산 영역에서 Fused Importance Sampling(FIS)보다 뛰어난 성능을 보이며, CartPole 및 블랙잭 환경에서의 실험적 검증을 통해 MSE 감소가 뚜렷하게 확인되었다.

ABSTRACT

We provide a comparative study of several widely used off-policy estimators (Empirical Average, Basic Importance Sampling and Normalized Importance Sampling), detailing the different regimes where they are individually suboptimal. We then exhibit properties optimal estimators should possess. In the case where examples have been gathered using multiple policies, we show that fused estimators dominate basic ones but can still be improved.

연구 동기 및 목표

• 널리 사용되는 오프-폴리시 추정기(BIS, NIS, EA)가 비최적인 영역를 규명하는 것.
• 편향-분산 트레이드오프와 평균제곱오차(MSE) 측면에서 최적 추정기의 바람직한 성질을 정의하는 것.
• 데이터가 다수의 행동 정책을 통해 수집되는 설정으로 추정기를 확장하여 기본 융합 추정기보다 개선하는 것.
• FIS보다 저분산 상황에서 우월한 성능을 보이는 새로운 최적의 편향 없는 추정기를 유도하고 검증하는 것.
• 보상 분산과 데이터 수집 정책에 기반한 추정기 선택을 위한 실용적 지침을 제공하는 것.

제안 방법

• BIS, NIS, EA를 행동에 대한 가중 평균으로 재구성하며, 가중치는 중요도 샘플링 비율과 경험적 카운트에서 유도된다.
• 다양한 보상 분산 영역에서 각 추정기의 편향과 분산을 분석하여, 고분산 상황에서는 BIS가 최적임을, 결정론적 보상에서는 EA가 최적임을 보여준다.
• 다중 정책 데이터를 위한 Fused Importance Sampling(FIS)을 도입하여, 다수의 정책이 사용될 경우 BIS를 능가함을 증명한다.
• 정책별 중요도 가중치를 사용하여 편향의 제약 조건 하에 MSE를 최소화함으로써 최적의 편향 없는 추정기(OUIS)를 도출한다.
• 300회 및 1000회 롤아웃을 각각 사용한 CartPole 및 블랙잭 환경에서 단계별 추정기를 활용해 성능을 검증한다.
• 비교 평가를 위해 부트스트래핑(400~2000회 반복)을 사용하여 신뢰구간과 RMSE/평균제곱오차를 계산한다.

실험 결과

연구 질문

• RQ1 BIS, NIS, EA는 오프-폴리시 평가에서 어떤 영역에서 비최적인가?
• RQ2 NIS의 성능은 BIS와 EA와 어떻게 관련이 있으며, 이를 그 사이의 보간으로 해석할 수 있는가?
• RQ3 다수의 정책을 사용하여 데이터를 수집할 경우, Fused Importance Sampling(FIS)이 Basic Importance Sampling(BIS)를 능가하는가?
• RQ4 저분산 설정에서 FIS를 능가하는 최적의 편향 없는 추정기를 도출할 수 있는가?
• RQ5 정규화된 변형(NFIS, NOUIS)은 그 비편향 대응체보다 MSE 측면에서 어떻게 비교되는가?

주요 결과

• 정규화된 중요도 샘플링(NIS)은 기본 중요도 샘플링(BIS)과 경험 평균(EA) 사이의 보간으로 작용하며, 보상 분산이 높을 경우 BIS가 최적이고, 결정론적 보상에서는 EA가 최적이다.
• 다양한 정책을 사용하여 데이터를 수집할 경우, 논문에서 증명한 linFIS가 BIS를 능가한다.
• 제안된 최적의 편향 없는 추정기(OUIS)는 저분산 영역에서 FIS보다 낮은 MSE를 달성하며, CartPole 환경에서 평균 RMSE 23.13 vs. FIS의 25.38을 기록한다.
• 블랙잭 환경에서는 OUIS가 탐색률 ε²ₜ 하에서 평균 MSE 0.0860을 기록하여 FIS(0.0875)를 능가하고 이론적 하한선에 가까워진다.
• 최적 추정기의 정규화된 형태(NOUIS)는 NFIS를 능가하지 못하며, 더 나은 비편향 가중치가 더 나은 정규화된 추정기를 보장하지는 않음을 시사한다.
• 저분산 설정에서 최적의 편향 없는 추정기(OUIS)는 CartPole 실험에서 FIS 대비 평균 RMSE를 10.5% 감소시켰으며, RMSE는 7.91 vs. 25.38(평균 RMSE)을 기록한다.