[논문 리뷰] Optimizing Adaptive Experiments: A Unified Approach to Regret Minimization and Best-Arm Identification

Chao Qin, Daniel Russo|arXiv (Cornell University)|2024. 02. 16.

Advanced Statistical Process MonitoringDecision Sciences인용 수 3

한 줄 요약

이 논문은 실험 및 구현 단계에서 별개의 비용을 갖는 일반화된 밴딧 모델을 도입함으로써 적응형 실험에서의 손실 최소화와 최적 암호 식별을 통합한다. 점차적으로 최적의 정책은 탐색에 대한 정보 균형과 조정 가능한 이용률에만 의존하며, 이는 최상위 두 개의 토머슨 샘플링과 같은 알고리즘을 단일 스칼라 파라미터로 조정하여 광범위한 목적함수에 적응시킬 수 있게 하며, 실험 길이가 극적으로 단축된 경우에도 최소한의 손실을 초래한다.

ABSTRACT

Practitioners conducting adaptive experiments often encounter two competing priorities: maximizing total welfare (or `reward') through effective treatment assignment and swiftly concluding experiments to implement population-wide treatments. Current literature addresses these priorities separately, with regret minimization studies focusing on the former and best-arm identification research on the latter. This paper bridges this divide by proposing a unified model that simultaneously accounts for within-experiment performance and post-experiment outcomes. We provide a sharp theory of optimal performance in large populations that not only unifies canonical results in the literature but also uncovers novel insights. Our theory reveals that familiar algorithms, such as the recently proposed top-two Thompson sampling algorithm, can optimize a broad class of objectives if a single scalar parameter is appropriately adjusted. In addition, we demonstrate that substantial reductions in experiment duration can often be achieved with minimal impact on both within-experiment and post-experiment regret.

연구 동기 및 목표

• 기존 문헌에서 별개의 문제로 다뤄지는 적응형 실험에서의 손실 최소화와 최적 암호 식별 간 격차를 메우기 위해.
• 실험 내 치료 비용과 실험 후 구현 결과를 모두 고려하는 통합 이론적 프레임워크를 개발하기 위해.
• 대규모 인구에서 실험 길이와 총 손실 간의 점차적 상호 교환 관계를 규명하기 위해.
• 각 기간 비용 함수에 의존하지 않는 점차적으로 효율적인 정책의 구조적 특성을 규명하기 위해.
• 누적 손실에 미치는 영향을 최소화하면서도 실험 기간을 상당히 단축시킬 수 있는지를 확인하기 위해.

제안 방법

• 실험 단계와 구현 단계에서의 치료 비용을 별도의 기간 비용 함수로 모델링하는 일반화된 다액단 밴딧 모델을 제안한다.
• 총 비용을 인구 규모에 대해 로그 스케일링하는 정규화된 성능 지표를 도입하며, 이는 손실 최소화의 Lai와 Robbins (1985)와 유사하다.
• 최적의 탐색 할당은 정보 균형 원칙을 따르며, 즉 열열한 암호에 대한 증거가 동일한 비율로 증가해야 하며, 이는 비용 함수와 무관하다는 것을 규명한다.
• 비용 인식 최적화는 탐색 분포가 순수하게 통계적 균형에 의해 결정되는 동안 단일 이용률 파라미터를 조정하는 것으로 축소됨을 보여준다.
• 최적 암호 식별의 복잡도 상수를 Lai와 Robbins (1985)와 유사한 형태로 재표현하기 위해 이중 플레이어 제로섬 게임 설정을 사용한다.
• 이론을 적용하여 실험 길이와 총 손실 간의 파레토 경계를 규명하고, 정확한 점차적 상호 교환 관계를 유도한다.

실험 결과

연구 질문

• RQ1 손실 최소화와 최적 암호 식별은 어떻게 하나의 적응형 실험 프레임워크 안에서 수학적으로 통합될 수 있는가?
• RQ2 이질적인 기간 비용 함수가 존재할 때 점차적으로 효율적인 정책을 지배하는 구조적 특성은 무엇인가?
• RQ3 총 손실에 상당한 영향을 주지 않으면서 실험 기간을 얼마나 줄일 수 있는가?
• RQ4 기존의 밴딧 알고리즘이 최소한의 수정으로 광범위한 목적함수를 최적화하도록 어떻게 적응시킬 수 있는가?
• RQ5 대규모 인구에서 실험 길이와 총 손실 간의 정확한 점차적 상호 교환 관계는 무엇인가?

주요 결과

• 최적 암호 식별을 위한 복잡도 상수는 두 명의 플레이어가 참여하는 제로섬 게임의 값으로 재표현되며, 변수를 변경하면 Lai와 Robbins (1985)의 형태와 정확히 일치한다.
• 점차적으로 효율적인 정책은 거의 비용 함수에 의존하지 않으며, 탐색 자원은 열열한 암호에 대한 통계적 증거가 균형을 이루도록 할당되어야 한다.
• 최상위 두 개의 토머슨 샘플링 알고리즘은 정보 균형 조건을 충족하므로, 가우시안 밴딧에서 점차적으로 효율적이다.
• 실험 길이를 상당히 단축시킬 수 있으며, 이로 인한 손실 증가가 최소화된다—일부 영역에서는 실험 길이를 50% 이상 단축시켜도 총 손실이 5% 미만으로 증가한다.
• 실험 길이와 총 손실 간의 파레토 경계는 정확히 규명되었으며, β ∈ (β_BAI, 1)로 매개변수화된 정책이 최소화된 정규화된 길이와 손실을 달성한다.
• 가우시안 밴딧의 경우, 정규화된 손실은 R_θ^(β) ≤ (1/β) R_θ^(1) 으로 스케일링되며, β가 1에 가까워질수록 손실이 1/β에 따라 선형으로 증가함을 보여준다.