[논문 리뷰] Adaptive Sequential Experiments with Unknown Information Flows

Yonatan Gur, Ahmadreza Momeni|arXiv (Cornell University)|2018. 06. 04.

Advanced Bandit Algorithms Research인용 수 1

한 줄 요약

이 논문은 의사결정 간 시점 사이에 시간에 따라 도착하는 임의의 보조 정보를 통합하는 일반화된 다손대기 밴딧(MAB) 프레임워크를 제안한다. 이는 기존 MAB 정책의 기본 성능을 조정하기 위해 동적으로 커스터마이징된 가상 시간 인덱스를 사용하는 적응형 탐색 방법을 제안하여, 정보 도착 과정에 대한 사전 지식이 없이도 최적의 위험률을 달성할 수 있도록 한다. 또한 이러한 설정에서 톰슨 샘플링의 강건성을 입증한다.

ABSTRACT

Systems that make sequential decisions in the presence of partial feedback on actions often need to strike a balance between maximizing immediate payoffs based on available information, and acquiring new information that may be essential for maximizing future payoffs. This trade-off is captured by the multi-armed bandit (MAB) framework that has been studied and applied for designing sequential experiments when at each time epoch a single observation is collected on the action that was selected at that epoch. However, in many practical settings additional information may become available between decision epochs. We introduce a generalized MAB formulation in which auxiliary information on each arm may appear arbitrarily over time. By obtaining matching lower and upper bounds, we characterize the minimax complexity of this family of MAB problems as a function of the information arrival process, and study how salient characteristics of this process impact policy design and achievable performance. We establish the robustness of a Thompson sampling policy in the presence of additional information, but observe that other policies that are of practical importance do not exhibit such robustness. We therefore introduce a broad adaptive exploration approach for designing policies that, without any prior knowledge on the information arrival process, attain the best performance (in terms of regret rate) that is achievable when the information arrival process is a priori known. Our approach is based on adjusting MAB policies designed to perform well in the absence of auxiliary information by using dynamically customized virtual time indexes to endogenously control the exploration rate of the policy. We demonstrate our approach through appropriately adjusting known MAB policies and establishing improved performance bounds for these policies in the presence of auxiliary information.

연구 동기 및 목표

• 의사결정 간 시점 사이에 예측할 수 없게 도착하는 보조 정보가 존재할 때의 순차적 결정 문제를 다루는 것.
• 임의의 정보 도착 과정 하에서 MAB 문제의 최소최대 복잡도를 규명하는 것.
• 정보 도착 과정이 사전에 알려지지 않은 상태에서도 최적의 위험률 성능을 달성하는 적응형 정책을 설계하는 것.
• 보조 정보 처리에서 비-톰슨 샘플링 정책의 한계와 톰슨 샘플링의 강건성을 입증하는 것.

제안 방법

• 각 암에 대한 보조 정보가 의사결정 시점 사이에 임의의 시간에 도착할 수 있도록 허용하는 일반화된 MAB 수식을 도입하는 것.
• 정보 도착 과정에 따라 최소최대 복잡도를 기술하기 위해 위험도의 상한과 하한을 동시에 확립하는 것.
• 기본 MAB 정책의 탐색 비율을 내생적으로 조절하기 위해 동적으로 커스터마이징된 가상 시간 인덱스를 사용하는 새로운 적응형 탐색 프레임워크를 제안하는 것.
• 가상 시간 인덱스를 통합하여 기존의 MAB 정책들—예를 들어 UCB와 톰슨 샘플링—을 조정하는 것.
• 결과로 도출된 정책이 정보 도착 과정이 사전에 알려져 있을 경우에 달성 가능한 최적의 위험률을 확보함을 증명하는 것.
• 톰슨 샘플링이 보조 정보가 존재하는 상황에서도 강건함을 입증하는 것과 동시에, 다른 표준 정책들은 동일한 강건성을 보이지 않는다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 보조 정보의 도착 과정이 부분 피드백 하에서 순차적 결정 문제의 최소최대 위험도에 어떤 영향을 미치는가?
• RQ2 정보 도착 과정에 대한 사전 지식 없이도 모든 가능한 정보 도착 과정에 대해 최적의 위험도 성능을 달성할 수 있는 단일 정책을 설계할 수 있는가?
• RQ3 왜 톰슨 샘플링은 보조 정보가 존재하는 상황에서도 강건한가? 반면 다른 MAB 정책들은 그렇지 않은가?
• RQ4 정보 도착 시점의 구조적 영향이 MAB 문제에서 효과적인 탐색 전략 설계에 어떤 영향을 미치는가?
• RQ5 가상 시간 인덱싱은 기존 MAB 정책을 어떻게 동적으로 변화하는 정보 가용성에 적응시킬 수 있는가?

주요 결과

• 제안된 일반화된 MAB 프레임워크에서 최소최대 위험도는 정보 도착 과정의 함수로 기술되며, 명시적인 하한과 상한이 확립되었다.
• 톰슨 샘플링은 보조 정보가 추가되더라도 최적의 성능을 유지하며, 도착 과정이 알려지지 않은 상태에서도 여전히 최적의 성능을 달성한다.
• 비-톰슨 샘플링 정책, 예를 들어 UCB는 보조 정보가 존재할 경우 특별히 적응화하지 않는 한 최적성을 상실한다.
• 가상 시간 인덱스를 사용하는 제안된 적응형 탐색 프레임워크는 기존 MAB 정책이 정보 도착 과정을 완전히 알고 있을 경우에 달성 가능한 최적의 위험도를 달성할 수 있도록 한다.
• 가상 시간 인덱싱 메커니즘은 정보 도착 속도와 시점의 변화를 반영하여 탐색을 동적으로 제어함으로써 성능 한계를 향상시킨다.
• 이 방법은 일반적이며, 알려진 MAB 정책들을 조정하는 데 적용 가능하여 임의의 정보 흐름이 존재하는 환경에서 개선된 위험 보장을 제공한다.