[논문 리뷰] Causal Bandits with Propagating Inference

Akihiro Yabe, Daisuke Hatano외 5명|arXiv (Cornell University)|2018. 06. 06.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 인과 그래프에서 임의의 간섭을 위한 최초의 인과 밴딧 알고리즘을 제안하며, 전파 추론을 활용하여 $O(\sqrt{\gamma^{*}\log(|\mathcal{A}|T)/T})$의 리그레트 한계를 달성한다. 여기서 $\gamma^{*}$는 그래프 구조에 따라 결정된다. 이 방법은 간섭 효과를 인과적 전파를 통해 모델링하고, 이론적 보장을 갖춘 보수적인 추정 전략을 사용함으로써, 특히 $|\mathcal{A}| \gg T$일 경우에 큰 간섭 공간에서의 효율적 탐색을 가능하게 한다.

ABSTRACT

Bandit is a framework for designing sequential experiments. In each experiment, a learner selects an arm $A \in \mathcal{A}$ and obtains an observation corresponding to $A$. Theoretically, the tight regret lower-bound for the general bandit is polynomial with respect to the number of arms $|\mathcal{A}|$. This makes bandit incapable of handling an exponentially large number of arms, hence the bandit problem with side-information is often considered to overcome this lower bound. Recently, a bandit framework over a causal graph was introduced, where the structure of the causal graph is available as side-information. A causal graph is a fundamental model that is frequently used with a variety of real problems. In this setting, the arms are identified with interventions on a given causal graph, and the effect of an intervention propagates throughout all over the causal graph. The task is to find the best intervention that maximizes the expected value on a target node. Existing algorithms for causal bandit overcame the $Ω(\sqrt{|\mathcal{A}|/T})$ simple-regret lower-bound; however, their algorithms work only when the interventions $\mathcal{A}$ are localized around a single node (i.e., an intervention propagates only to its neighbors). We propose a novel causal bandit algorithm for an arbitrary set of interventions, which can propagate throughout the causal graph. We also show that it achieves $O(\sqrt{ γ^*\log(|\mathcal{A}|T) / T})$ regret bound, where $γ^*$ is determined by using a causal graph structure. In particular, if the in-degree of the causal graph is bounded, then $γ^* = O(N^2)$, where $N$ is the number $N$ of nodes.

연구 동기 및 목표

• 기존 인과 밴딧 알고리즘이 부모 노드에만 영향을 주는 局소적 간섭에 한정되어 있는 점을 해결하기 위해.
• 전체 인과 그래프에 걸쳐 전파되는 임의의 간섭을 처리할 수 있는 밴딧 알고리즘을 개발하기 위해.
• 손님 수 $|\mathcal{A}|$에 대해 로그 스케일링되는 리그레트 한계를 달성하여 일반 밴딧의 $\Omega(\sqrt{|\mathcal{A}|/T})$ 하한을 초월하기 위해.
• 에러가 인과 그래프 전반에 걸쳐 전파되더라도 추정 정확도를 유지할 수 있는 이론적으로 탄탄한 방법을 제공하기 위해.
• $|\mathcal{A}| \gg T$인 고차원 간섭 설정에서의 경험적 우수성을 입증하기 위해.

제안 방법

• 알고리즘은 간섭을 인과 그래프 상의 do-계산 연산으로 모델링하며, 영향력이 구조 방정식을 통해 전파된다.
• 간섭 효과 추정치와 그 신뢰 구간 간의 의존성을 방지하기 위해 보수적인 추정 전략을 도입한다.
• 의존성에 의한 편향을 방지하기 위해 절단 추정치 $\hat{\alpha}$와 별도의 추정치 $\check{\alpha}'$를 사용한다.
• 목표 노드에 미치는 영향의 잠재적 영향력을 기반으로 간섭을 우선순위화하기 위해 새로운 가중치 부여 방식 $\eta_A$를 적용하며, 활성 간섭인 경우 $\eta_A = 1/C$이고, 그 외에는 0이다.
• 그래프의 구조적 매개변수 $\gamma^{*}$를 기반으로 한 신뢰 구간을 사용하며, 진입 차수(인-degree)가 일정할 경우 $\gamma^{*} = O(N^2)$로 유계가 된다.
• 구조적 제약 조건 하에서 오차 전파와 신뢰 구간 구성의 새로운 분석을 통해 이론적 리그레트를 유도한다.

실험 결과

연구 질문

• RQ1 전체 인과 그래프에 걸쳐 전파되는 국소적 간섭이 아닌 임의의 간섭을 처리할 수 있는 인과 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 이러한 일반화된 인과 밴딧 설정에서 달성 가능한 이론적 리그레트 한계는 무엇인가?
• RQ3 이 일반화된 설정에서 리그레트는 손님 수 $|\mathcal{A}|$와 라운드 수 $T$에 대해 어떻게 스케일링되는가?
• RQ4 특히 $|\mathcal{A}| \gg T$인 경우, 즉 대규모 간섭 공간에서 리그레트를 낮게 유지할 수 있는가?
• RQ5 특히 진입 차수와 연결성에 따라 그래프 구조가 달성 가능한 리그레트 한계에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 $O(\sqrt{\gamma^{*}\log(|\mathcal{A}|T)/T})$의 리그레트 한계를 달성하며, 이는 $|\mathcal{A}|$에 대해 로그 스케일링되며 일반 밴딧의 $\Omega(\sqrt{|\mathcal{A}|/T})$ 하한에 비해 크게 향상된다.
• 인과 그래프의 진입 차수가 유계일 경우 $\gamma^{*} = O(N^2)$로 유도되며, 이는 노드 수에 대해 비선형적으로 스케일링되는 리그레트 한계를 의미한다.
• |$\mathcal{A}| = 12,870$개의 간섭과 $T = 9C$를 가진 시뮬레이션 실험에서, 제안된 알고리즘은 낮은 리그레트 증가를 유지했고, 기준선은 효과적인 탐색에 실패했다.
• Alarm 데이터셋에서 $|\mathcal{A}| = 3,796$이고 $T \leq 464$일 경우, 제안된 알고리즘이 기준선 대비 0.2 이상의 리그레트 격차를 확보하여 고손님, 저샘플 환경에서 뛰어난 성능을 보였다.
• 모든 시뮬레이션 및 실세계 사례에서 기준선을 능가했으며, 특히 $|\mathcal{A}|$가 $T$에 비해 클 경우에 두드러진 성능을 보였다.
• 경험적 결과는 간섭 수가 가용 샘플 수의 30배에 이르는 경우에도 알고리즘이 여전히 효과적임을 보여준다.