[논문 리뷰] Regret Analysis of Bandit Problems with Causal Background Knowledge

Yangyi Lu, Amirhossein Meisami외 2명|arXiv (Cornell University)|2019. 10. 11.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 6

한 줄 요약

이 논문은 누적 누적 손실을 줄이기 위해 인과 그래프를 활용하는 인과 밴딧 알고리즘—Causal UCB (C-UCB)와 Causal Thompson Sampling (C-TS)—을 제안한다. 인과적 구조를 활용함으로써 이 알고리즘들은 보상의 직접 원인 수($n$)에 비례하는 복잡도로 성능을 향상시키며, 전체 간섭 공간에 비해 복잡도가 감소하여 수백 번의 반복만으로도 최대 3배까지의 손실 감소를 달성한다.

ABSTRACT

We study how to learn optimal interventions sequentially given causal information represented as a causal graph along with associated conditional distributions. Causal modeling is useful in real world problems like online advertisement where complex causal mechanisms underlie the relationship between interventions and outcomes. We propose two algorithms, causal upper confidence bound (C-UCB) and causal Thompson Sampling (C-TS), that enjoy improved cumulative regret bounds compared with algorithms that do not use causal information. We thus resolve an open problem posed by \cite{lattimore2016causal}. Further, we extend C-UCB and C-TS to the linear bandit setting and propose causal linear UCB (CL-UCB) and causal linear TS (CL-TS) algorithms. These algorithms enjoy a cumulative regret bound that only scales with the feature dimension. Our experiments show the benefit of using causal information. For example, we observe that even with a few hundreds of iterations, the regret of causal algorithms is less than that of standard algorithms by a factor of three. We also show that under certain causal structures, our algorithms scale better than the standard bandit algorithms as the number of interventions increases.

연구 동기 및 목표

• 표준 알고리즘이 손실 척도에서 열악한 성능을 보이는 고차원 간섭 공간을 가진 밴딧 문제에서의 과제를 해결한다.
• Lattimore 등(2016)이 제기한 열린 문제를 해결하기 위해, 인과적 구조를 활용하여 $\tilde{O}(\sqrt{T})$의 누적 손실을 가지는 알고리즘을 설계한다.
• 인과 밴딧 방법을 선형 밴딧 설정으로 확장하여, 간섭이 저차원 특징으로 매개변수화될 경우 효율적인 학습을 가능하게 한다.
• 실제 이메일 캠페인과 시뮬레이션 환경에서 실증적으로 인과 알고리즘이 표준 밴딧 알고리즘보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• do-계산법과 간섭 분포를 활용하여 인과 그래프를 상위 신뢰도 한계(UCB) 및 톰슨 샘플링(TS) 프레임워크에 통합하여 탐색을 이끌어낸다.
• 관측된 변수에 대한 do-간섭을 정의하며, 보상은 인과 그래프에서 유도된 구조 방정식에 의해 결정된다.
• C-UCB에서는 신뢰도 한계를, C-TS에서는 사후 샘플링을 사용하며, 불확실성은 인과적 구조에 의해 정보화되어 중복 탐색을 줄인다.
• 선형 밴딧의 경우, 보상을 특징의 선형 함수로 모델링하고, 인과 정규화를 적용하여 손실을 $\tilde{O}(d\sqrt{T})$로 감소시킨다. 여기서 $d$는 특징 차원이다.
• 부모 변수의 조건부 분포를 통합하여 간섭 하에서 기대 보상과 불확실성 추정치를 계산한다.
• 보상에 대한 인과적 영향력이 높은 변수에 대해 간섭을 우선적으로 수행함으로써 탐색과 이용의 동적 균형을 유지하는 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 다중 암부 밴딧 문제에서 표준 밴딧 알고리즘보다 인과적 구조를 활용하여 더 날카운 누적 손실 경계를 달성할 수 있는가?
• RQ2 보상의 직접 원인 수($n$)가 총 변수 수($N$)에 비해 작을 경우, C-UCB 및 C-TS와 같은 인과 밴딧 알고리즘이 $\tilde{O}(\sqrt{T})$의 손실 척도를 달성하는가?
• RQ3 특히 인과적 구조가 희박한 경우, 간섭 수가 증가함에 따라 인과 밴딧 알고리즘의 성능은 어떻게 변화하는가?
• RQ4 인과 밴딧 방법은 고차원 특징 공간에서도 낮은 손실을 유지할 수 있도록 선형 밴딧 설정으로 확장될 수 있는가?
• RQ5 이메일 캠페인과 같이 복잡한 간섭 공간을 가진 실세계 응용에서 인과 알고리즘이 표준 UCB 및 TS보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• C-UCB와 C-TS는 $\tilde{O}(\sqrt{k^n T})$의 누적 손실 경계를 달성하며, 여기서 $n$은 보상의 직접 원인 수이다. 이는 전체 간섭 공간의 크기($k+1)^N$에 비해 상당히 향상된 성능이다.
• 시뮬레이션 실험에서 변수 수($n$)가 증가함에 따라 인과 알고리즘의 손실 증가율이 표준 UCB 및 TS보다 훨씬 느리며, 특정 계수 설정에서는 $\tilde{O}(\sqrt{n})$ 수준의 증가율을 보였다.
• 이메일 캠페인 실험에서, 수백 번의 반복만으로도 인과 알고리즘이 표준 UCB 및 TS보다 손실을 3배 이상 줄였다.
• 선형 밴딧 확장인 CL-UCB와 CL-TS는 $\tilde{O}(d\sqrt{T})$의 손실 경계를 달성하며, 이는 고차원 환경에서도 확장 가능함을 보여준다. 여기서 $d$는 특징 차원이다.
• 톰슨 샘플링 변종(C-TS 및 CL-TS)은 시뮬레이션 및 실세계 실험 모두에서 UCB 대비 일관되게 뛰어난 성능을 보였으며, 이는 이전의 실증적 결과와 일치한다.
• 그래프에 의해 유도된 인과적 구조는 탐색해야 할 간섭의 효과적 수를 줄였으며, 이는 전체 간섭 공간이 크더라도 최적 정책에의 수렴 속도를 높이는 데 기여했다.