[논문 리뷰] Estimation Considerations in Contextual Bandits

Maria Dimakopoulou, Zhou, Zhengyuan외 2명|arXiv (Cornell University)|2017. 11. 19.

Advanced Bandit Algorithms Research참고 문헌 6인용 수 27

한 줄 요약

이 논문은 인과적 추론 균형 기법—예를 들어 역확률가중치화와 잔차균형화—를 파arametric 및 비모수적 모델에 통합하여 결과 모델의 추정 편향을 줄이는 균형 잡힌 문맥적 밴디트 알고리즘을 제안한다. 공변수 균형을 통해 추정 안정성을 향상시킴으로써 저자들은 최신 선형 밴디트와 동등한 성능을 보이는 성능 한계를 달성하면서도, 특히 모형 잘못 설정과 데이터 편향 상황에서 더 뛰어난 안정성과 감소된 성능 한계를 보여주었다.

ABSTRACT

Contextual bandit algorithms are sensitive to the estimation method of the outcome model as well as the exploration method used, particularly in the presence of rich heterogeneity or complex outcome models, which can lead to difficult estimation problems along the path of learning. We study a consideration for the exploration vs. exploitation framework that does not arise in multi-armed bandits but is crucial in contextual bandits; the way exploration and exploitation is conducted in the present affects the bias and variance in the potential outcome model estimation in subsequent stages of learning. We develop parametric and non-parametric contextual bandits that integrate balancing methods from the causal inference literature in their estimation to make it less prone to problems of estimation bias. We provide the first regret bound analyses for contextual bandits with balancing in the domain of linear contextual bandits that match the state of the art regret bounds. We demonstrate the strong practical advantage of balanced contextual bandits on a large number of supervised learning datasets and on a synthetic example that simulates model mis-specification and prejudice in the initial training data. Additionally, we develop contextual bandits with simpler assignment policies by leveraging sparse model estimation methods from the econometrics literature and demonstrate empirically that in the early stages they can improve the rate of learning and decrease regret.

연구 동기 및 목표

• 비균일한 치료 할당, 모형 잘못 설정, 초기 학습 단계에서의 데이터 편향으로 인해 발생하는 문맥적 밴디트의 추정 편향 문제를 해결하기 위해.
• 역확률가중치화와 잔차균형화와 같은 인과적 추론의 균형 기법을 문맥적 밴디트 추정에 통합하여 모형 안정성을 향상시키기 위해.
• 균형을 적용한 선형 문맥적 밴디트에 대한 첫 번째 성능 한계 분석을 제공하여 최신 이론적 보장을 달성하기 위해.
• 실제 세계 데이터셋과 시뮬레이션 데이터셋에서 편향 또는 모형 불일치가 있는 상황에서 균형 잡힌 밴디트가 학습 속도를 향상시키고 성능 한계를 감소시킴을 실증적으로 보여주기 위해.
• 더 단순하고 스무딩된 할당 정책이 분산을 줄이고 초기 단계 추정을 향상시키는 데 기여하는 바를 탐색하기 위해.

제안 방법

• 선형 및 비선형 결과 모델 추정에 대해 역확률가중치화 및 근사 잔차균형화와 같은 균형 기법을 통합하여 문맥적 밴디트에 적용한다.
• 편향 있는 보상 함수 추정을 줄이기 위해 균형 기법을 파arametric(예: 리지, 라소) 및 비모수적(예: 랜덤 포레스트) 모델에 모두 적용한다.
• 균형 선형 톰슨 샘플링(BLTS)과 균형 선형 UCB(BLUCB)를 제안하며, 이는 평균 보상과 불확실성 추정에 균형 기법을 활용한다.
• 이중 단계 추정 접근법을 사용한다: 먼저 균형을 통해 확률적 스코어와 잠재적 결과를 추정하고, 그 결과를 톰슨 샘플링 또는 UCB에 활용하여 탐색-이용 균형을 확보한다.
• 이코노메트릭스에서 유래한 희소 모형 추정 기법을 활용해 더 단순하고 분산이 낮은 할당 정책을 설계하여 초기 학습 성능을 향상시킨다.
• 노이즈 매개변수 추정(예: $μ_a(x)$, $p_a(x)$)의 분산을 줄이기 위해 할당 규칙에 스무딩 메커니즘을 도입하여 초기 학습 단계에서의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 치료 그룹 간 공변수를 균형 잡을 경우 문맥적 밴디트의 추정 편향과 성능 한계에 어떤 영향을 미치는가?
• RQ2 인과적 추론의 균형 기법이 선형 문맥적 밴디트에 효과적으로 통합될 수 있는가? 이는 추정 안정성과 성능 한계의 향상으로 이어지는가?
• RQ3 더 단순하고 스무딩된 할당 정책을 사용할 경우 결과 추정의 분산이 줄어들고 초기 단계의 학습 속도가 향상되는가?
• RQ4 모형 잘못 설정 또는 편향된 학습 데이터 상황에서 표준 LinTS 및 LinUCB에 비해 균형 잡힌 문맥적 밴디트는 어떻게 성능을 발휘하는가?
• RQ5 균형 선형 문맥적 밴디트의 이론적 성능 한계는 어떠한가? 최신 기준과 일치하는가?

주요 결과

• 균형 선형 문맥적 밴디트(BLTS 및 BLUCB)는 선형 밴디트의 최신 기준과 동등한 성능 한계를 달성하여 강력한 이론적 보장을 제공한다.
• 밴디트 피드백가 있는 다중분류 작업에서 BLTS 및 BLUCB는 표준 LinTS 및 LinUCB에 비해 성능 한계를 크게 감소시키며, 특히 모형 잘못 설정 상황에서 뚜렷한 성능 향상을 보인다.
• 균형 기법의 사용은 치료 할당이 비균일하거나 초기 단계에서 데이터가 편향된 경우 결과 모델의 추정 편향을 줄이는 데 기여한다.
• 더 단순하고 스무딩된 할당 정책은 노이즈 매개변수 추정의 분산을 낮춰 초기 단계 학습을 향상시키고 성능 한계를 감소시킨다.
• 실제 세계 데이터셋과 시뮬레이션 예제에서의 실증 결과는 균형 잡힌 밴디트가 데이터 편향과 모형 불일치에 더 강건하다는 것을 보여준다.
• 밴디트 학습에 인과적 추론 균형 기법을 통합함으로써 추정 정확도와 정책 성능이 모두 향상되며, 특히 다량의 이질성 또는 제한된 데이터가 존재하는 환경에서 유의미한 개선이 이루어진다.