[논문 리뷰] Markovian Interference in Experiments

Vivek F. Farias, Andrew A. Li외 2명|arXiv (Cornell University)|2022. 06. 06.

Transportation and Mobility InnovationsEngineering인용 수 18

한 줄 요약

이 논문은 제한된 재고와 같은 공유 제약 조건으로 인해 상호작용이 발생하는 마코프성 간섭(Markovian interference)이 있는 실험에서 인과 추론을 위한 차이의 Q-함수(Differences-In-Q's, DQ) 추정량을 소개한다. 제안된 DQ 추정량은 기존의 비정책 기반 방법에 비해 제곱 오차가 감소하고 분산이 지수적으로 감소하는 새로운 정책 기반 추정 프레임워크를 활용하여, 이론적·시뮬레이션적으로 히وري스틱 추정량과 비편향 추정량을 모두 능가하는 우수한 편향-분산 트레이드오프를 달성한다.

ABSTRACT

We consider experiments in dynamical systems where interventions on some experimental units impact other units through a limiting constraint (such as a limited inventory). Despite outsize practical importance, the best estimators for this `Markovian' interference problem are largely heuristic in nature, and their bias is not well understood. We formalize the problem of inference in such experiments as one of policy evaluation. Off-policy estimators, while unbiased, apparently incur a large penalty in variance relative to state-of-the-art heuristics. We introduce an on-policy estimator: the Differences-In-Q's (DQ) estimator. We show that the DQ estimator can in general have exponentially smaller variance than off-policy evaluation. At the same time, its bias is second order in the impact of the intervention. This yields a striking bias-variance tradeoff so that the DQ estimator effectively dominates state-of-the-art alternatives. From a theoretical perspective, we introduce three separate novel techniques that are of independent interest in the theory of Reinforcement Learning (RL). Our empirical evaluation includes a set of experiments on a city-scale ride-hailing simulator.

연구 동기 및 목표

• 공유 시스템 상태에 영향을 미치는 마코프성 간섭이 있는 실험에서 평균 치료 효과(Average Treatment Effect, ATE)를 추정할 때 이론적으로 탄탄하고 편향과 분산이 낮은 추정량이 부족한 문제를 해결하기 위해.
• 단순 랜덤화 하에서 마코프 결정 과정(Markov Decision Process, MDP)의 정책 평가 문제로 문제를 체계화하여 복잡한 실험 설계에 의존하지 않도록 하기 위해.
• 비정책 평가에 비해 분산이 증명 가능하게 작은 정책 기반 추정량을 개발하여 치료 효과의 제2차 편향을 유지하기 위해.
• 강화학습 분야에서 새로운 기초를 마련하기 위해, ATE의 새로운 테일러 유사 전개와 정책 평가의 편향-분산 분석을 포함한다.

제안 방법

• 목표 정책 하에서의 기대 보상으로 표준 보상을 대체하는 수정된 정책 평가 항등식을 사용하는 새로운 정책 기반 추정량인 DQ 추정량을 제안한다.
• 행동 정책의 정적 분포와 가치 함수를 기반으로 한 서브티튜트 목적함수를 유도하며, 편향 분석을 위해 변형 경계를 활용한다.
• 정리 5에서 제안한 ATE의 테일러 유사 전개를 활용하여, 전이 확률과 정책 간의 거리에 따라 편향을 특성화한다.
• 목표 정책의 기대 보상에 의해 보상이 재가중된 보조 MDP에서 Q-함수와 V-함수를 계산하는 수정된 딜킨 유형 항등식을 도입한다.
• 신뢰 영역 유사 프레임워크를 활용하지만, 보조 MDP의 보상 함수를 수정하여 편향을 감소시켜 DQ 추정량의 핵심 성질을 도출한다.
• DQ 추정량의 점근 정규성과 명시적 분산 특성화를 확립하며, 이는 비정책 추정량보다 지수적으로 작을 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 마코프성 간섭이 있는 실험에서, 새로운 정책 기반 추정량이 비편향 비정책 추정량보다 분산을 크게 낮출 수 있는가?
• RQ2 DQ 추정량의 편향 구조는 무엇이며, 기존의 비정책 및 히وري스틱 추정량과 비교해 볼 때 어떻게 다른가?
• RQ3 정책 유도 전이 동역학 변화를 고려한 수정된 정책 평가 항등식으로부터 DQ 추정량을 유도할 수 있는가?
• RQ4 치료 효과가 작을 때 DQ 추정량이 제2차 편향을 유지하는가? 이는 실무에서의 성능에 어떻게 영향을 미치는가?
• RQ5 DQ 추정량은 편향-분산 제어를 개선함으로써 강화학습에서 정책 최적화를 향상시킬 수 있는가?

주요 결과

• DQ 추정량은 간섭이 전이 확률에 영향을 미치는 정도가 $O(\delta)$일 경우, 제2차 편향 $O(\delta^2)$를 보이며, 비정책 방법에 비해 훨씬 낮은 편향을 갖는다.
• DQ 추정량의 분산은 비편향 비정책 추정량보다 지수적으로 작을 수 있으며, 특히 고차원적이거나 복잡한 MDP에서 두드러진다.
• 도시 규모의 라이드헤일링 시뮬레이터에서 DQ 추정량은 편향과 평균제곱오차 모두에서 최신 기술 대비 우수한 성능을 보이며 실용적 우수성을 입증했다.
• DQ 추정량의 편향은 $O((\delta\delta')^2)$이며, 이는 $\delta'$가 유계가 아니어도 $O(\delta(\delta')^2)$의 편향을 갖는 신뢰 영역 서브티튜트보다 $\delta$ 배 더 낮다.
• 이론적 분석을 통해 DQ 추정량이 치료 효과의 크기를 활용하여 유리한 편향-분산 트레이드오프를 달성함을 확인하였으며, 이는 이론적·시뮬레이션적으로 모두 우세함을 보였다.
• 이 방법은 강화학습 분야에서 독립적인 관심을 끌 만한 세 가지 새로운 기법을 도입한다: ATE의 테일러 유사 전개, 수정된 딜킨 항등식, 정책 평가 편향의 변형 기반 분석.