[논문 리뷰] Adaptive Experimental Design with Temporal Interference: A Maximum Likelihood Approach

Peter W. Glynn, Ramesh Johari외 1명|arXiv (Cornell University)|2020. 06. 10.

Consumer Market Behavior and Pricing참고 문헌 14인용 수 12

한 줄 요약

이 논문은 시간 간섭이 존재하는 시스템에서 두 정책을 비교하기 위한 새로운 적응형 실험 설계를 제안한다. 비모수적 최대우도추정을 사용하여 안정 상태 보상 차이를 일致하고 효율적으로 추정한다. 마팅게일 분석과 포아송 방정식을 활용함으로써 문제를 볼록 최적화로 환원하여, 온라인으로 구현 가능하고 渐近적으로 효율적인 설계를 가능하게 하며, 치료 효과 추정의 분산을 최소화한다.

ABSTRACT

Suppose an online platform wants to compare a treatment and control policy, e.g., two different matching algorithms in a ridesharing system, or two different inventory management algorithms in an online retail site. Standard randomized controlled trials are typically not feasible, since the goal is to estimate policy performance on the entire system. Instead, the typical current practice involves dynamically alternating between the two policies for fixed lengths of time, and comparing the average performance of each over the intervals in which they were run as an estimate of the treatment effect. However, this approach suffers from *temporal interference*: one algorithm alters the state of the system as seen by the second algorithm, biasing estimates of the treatment effect. Further, the simple non-adaptive nature of such designs implies they are not sample efficient. We develop a benchmark theoretical model in which to study optimal experimental design for this setting. We view testing the two policies as the problem of estimating the steady state difference in reward between two unknown Markov chains (i.e., policies). We assume estimation of the steady state reward for each chain proceeds via nonparametric maximum likelihood, and search for consistent (i.e., asymptotically unbiased) experimental designs that are efficient (i.e., asymptotically minimum variance). Characterizing such designs is equivalent to a Markov decision problem with a minimum variance objective; such problems generally do not admit tractable solutions. Remarkably, in our setting, using a novel application of classical martingale analysis of Markov chains via Poisson's equation, we characterize efficient designs via a succinct convex optimization problem. We use this characterization to propose a consistent, efficient online experimental design that adaptively samples the two Markov chains.

연구 동기 및 목표

• 온라인 정책 평가에서 이전 정책 실행으로 인한 편향이 발생하는 시간 간섭 문제를 해결하기 위해.
• 두 마르코프 체인 간의 안정 상태 보상 차이를 추정하기 위한 일致적이고 渐近적으로 효율적인 실험 설계를 개발하기 위해.
• 최소 분산을 갖는 비모수적 최대우도추정 하에서 최적의 샘플링 전략을 특성화하기 위해.
• 모수적 정보가 없는 경우에 분산 최소화 마르코프 결정 문제의 비가용성 문제를 극복하기 위해, 해석 가능한 볼록 최적화 공식을 식별하기 위해.

제안 방법

• 각 정책을 동일한 상태공간 위의 마르코프 체인으로 모델링하고, 안정 상태 보상 차이를 추정하는 것을 목표로 한다.
• 전이 확률이나 보상에 대한 사전 지식 없이도 장기 평균 보상을 추정하기 위해 비모수적 최대우도추정(MLE)을 사용한다.
• 마팅게일 분석과 포아송 방정식을 적용하여 효율적인 설계의 이론적 특성화를 도출한다.
• 시간 평균 정규성(TAR) 조건 하에서 渐近적으로 효율적인 샘플링 정책을 완전히 특성화하는 볼록 최적화 문제를 유도한다.
• 현재 상태와 추정된 전이 확률에 기반하여 어떤 정책을 실행할지를 동적으로 선택하는 적응형 온라인 설계를 구축한다.
• 실시간으로 추정된 파rameter를 사용하여 볼록 최적화 문제를 해결함으로써 일관되고 분산 최소화 정책을 구현한다.

실험 결과

연구 질문

• RQ1 단 한 번의 시스템 실행만 가능할 때 시간 간섭이 존재하는 상황에서 실험 설계를 어떻게 일관적이고 효율적으로 만들 수 있는가?
• RQ2 모수적 정보가 없는 경우에 특정 조건 하에서 분산 최소화 마르코프 결정 문제를 닫힌 형태로 해결할 수 있는가?
• RQ3 이 설정에서 MLE의 점근적 분산을 최소화하는 효율적 샘플링 정책의 이론적 특성화는 무엇인가?
• RQ4 포아송 방정식과 마팅게일 분석의 새로운 응용이 적응형 설계를 위한 해석 가능한 최적화 문제를 도출하는가?
• RQ5 결과로 도출된 설계는 일관성과 효율성 보장을 갖는 온라인으로 구현 가능한가?

주요 결과

• 제안된 적응형 설계는 모든 시간 평균 정규(TAR) 정책 중에서 점근적으로 최소 분산을 달성한다.
• 분산 최소화 마르코프 결정 문제의 본질적 비가용성에도 불구하고, 효율적 설계의 특성화는 간결한 볼록 최적화 문제로 환원된다.
• TAR 조건 하에서 비모수적 MLE는 일관성이 있으며, 진정한 안정 상태 보상 차이로 수렴함을 보장한다.
• 마팅게일 차분의 수직성과 대수법칙의 추론을 통해 MLE의 점근적 분산이 모든 TAR 정책 중에서 가능한 최소값으로 수렴함을 입증한다.
• 온라인 설계는 진짜 치료 효과로 확률적으로 수렴하며, 상태-행동 쌍의 경험 빈도에 대해 수렴 속도가 $O(1/n)$으로 유계이다.
• 모델 오류에 대해 강건하며, 일관성과 효율성이 약한 정규성 조건(TAR) 하에서도 성립하며, 체인에 대한 파rametric 가정 없이도 성립한다.