[논문 리뷰] Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision

Ye Li, Yishi Lin외 2명|arXiv (Cornell University)|2020. 01. 16.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 5

한 줄 요약

이 논문은 오프라인 원인 인과 추론과 온라인 밴딧 학습을 통합하여 데이터 기반 의사결정을 향상시키는 통합 프레임워크를 제안한다. 기록된 데이터를 활용해 초깃책을 설정하고, LinUCB와 같은 알고리즘을 사용해 온라인 피드백에 따라 적응함으로써, 단독으로 기록된 데이터나 온라인 피드백을 사용하는 것보다 증명 가능한 더 낮은 누적 실책을 달성한다. 또한 숲 기반 온라인 밴딧 알고리즘에 대해 처음으로 상한 실책 한계를 도출한다.

ABSTRACT

A fundamental question for companies with large amount of logged data is: How to use such logged data together with incoming streaming data to make good decisions? Many companies currently make decisions via online A/B tests, but wrong decisions during testing hurt users' experiences and cause irreversible damage. A typical alternative is offline causal inference, which analyzes logged data alone to make decisions. However, these decisions are not adaptive to the new incoming data, and so a wrong decision will continuously hurt users' experiences. To overcome the aforementioned limitations, we propose a framework to unify offline causal inference algorithms (e.g., weighting, matching) and online learning algorithms (e.g., UCB, LinUCB). We propose novel algorithms and derive bounds on the decision accuracy via the notion of "regret". We derive the first upper regret bound for forest-based online bandit algorithms. Experiments on two real datasets show that our algorithms outperform other algorithms that use only logged data or online feedbacks, or algorithms that do not use the data properly.

연구 동기 및 목표

• 웹 애플리케이션에서 의사결정을 위해 단지 오프라인 기록된 데이터나 온라인 A/B 테스트에 의존하는 데서 비롯하는 한계를 해결하기 위해.
• 역사적 데이터에서의 인과 추론과 적응형 온라인 학습을 융합하여 온라인 의사결정의 실책을 줄이기 위해.
• 기록된 데이터를 활용해 온라인 밴딧 탐색을 안내함으로써 학습 효율성과 의사결정 정확도를 향상시키는 하이브리드 알고리즘을 개발하기 위해.
• 오프라인 인과 추론을 통합한 온라인 밴딧 알고리즘의 이론적 실책 한계를 유도하기 위해, 특히 숲 기반 방법에 초점을 맞춰서.

제안 방법

• 프레임워크는 오프라인 인과 추론(예: 가중치, 매칭)과 온라인 밴딧 알고리즘(예: UCB, LinUCB)을 통합하여 정책 결정을 지원한다.
• 기록된 데이터에서 다양한 사용자 유형에 대한 결과 추정치의 가중 평균을 사용해 온라인 학습의 초기화 또는 정규화를 수행한다.
• LinUCB에서 신뢰구간에 기록된 데이터의 영향을 분석함으로써 누적 실책의 상한을 유도한다.
• 핵심 기여 중 하나는 숲 기반 온라인 밴딧 알고리즘에 대한 새로운 실책 한계를 유도한 것으로, 행렬 행렬식과 고유값 분석을 활용한다.
• 설계 행렬의 행렬식 성장률을, 온라인 데이터 스케일과 오프라인 데이터 공분산 행렬의 최소 고유값의 비율을 포함하는 항을 통해 유 bounds한다.
• βt(δ)와 δ = 1/T와 같은 파라미터를 설정하여 고도의 확률적 신뢰구간을 확보함으로써 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 오프라인 원인 인과 추론은 데이터 기반 의사결정 시스템에서 온라인 밴딧 학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 기록된 데이터를 활용해 온라인 밴딧 알고리즘을 안내할 경우, 이론적 실책 한계는 무엇인가?
• RQ3 유한한 기록된 샘플에서의 인과 추론 통합은 순수한 온라인 또는 오프라인 방법과 비교해 장기적 의사결정 정확도에 어떤 영향을 미치는가?
• RQ4 통합 프레임워크는 역사적 기록된 데이터와 실시간 피드백을 모두 활용함으로써 실책을 줄일 수 있는가?

주요 결과

• 두 개의 실제 데이터셋에 대한 실험 결과, 기록된 데이터 또는 온라인 피드백을 단독으로 사용하는 것보다 제안된 방법이 더 낮은 실책을 달성한다.
• 숲 기반 온라인 밴딧 알고리즘에 대해 처음으로 상한 실책 한계가 도출되었으며, 이는 하이브리드 환경에서의 사용에 대한 이론적 근거를 제공한다.
• 실책 한계는 O(log(1 + TL²/λ_min(V_N)))로 스케일링되며, 더 정보가 풍부한 오프라인 데이터(더 높은 λ_min)일수록 수렴 속도가 빨라진다.
• 특히 δ_a - δ_a* > 0일 경우, 기록된 데이터에서의 인과 추정치를 통합함으로써 최적이 아닌 행동이 선택되는 횟수를 줄일 수 있다.
• 기대 누적 실책은 O(d² log T / Δ_min × log(1 + TL²/λ_min(V_N)))로 유 bounds되며, 이는 샘플 효율성 향상을 보여준다.