[논문 리뷰] Causal Bandits for Linear Structural Equation Models

Burak Varıcı, Karthikeyan Shanmugam외 2명|arXiv (Cornell University)|2022. 08. 26.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 소프트 간섭 조건 하에서 선형 구조적 방정식 모델(SEM)에 대한 새로운 인과적 밴딧 알고리즘을 제안한다. 직접적으로 $2^N$개의 간섭 분포를 추정하는 대신 선형적으로 $N$에 비례하는 SEM 매개변수를 추정함으로써 이를 회피한다. 이는 빈도주의(UCB 기반) 및 베이지안(스미스 샘플링 기반) 설정 모두에서 $\tilde{O}(d^{L+1/2}\sqrt{NT})$의 누적 최소 손실을 달성하며, 이는 최소 최대 하한 $\Omega(d^{L/2-2}\sqrt{T})$와 일치한다. 이는 $T$, $d$, $L$에 대해 최적의 스케일링을 확인한다.

ABSTRACT

This paper studies the problem of designing an optimal sequence of interventions in a causal graphical model to minimize cumulative regret with respect to the best intervention in hindsight. This is, naturally, posed as a causal bandit problem. The focus is on causal bandits for linear structural equation models (SEMs) and soft interventions. It is assumed that the graph's structure is known and has $N$ nodes. Two linear mechanisms, one soft intervention and one observational, are assumed for each node, giving rise to $2^N$ possible interventions. Majority of the existing causal bandit algorithms assume that at least the interventional distributions of the reward node's parents are fully specified. However, there are $2^N$ such distributions (one corresponding to each intervention), acquiring which becomes prohibitive even in moderate-sized graphs. This paper dispenses with the assumption of knowing these distributions or their marginals. Two algorithms are proposed for the frequentist (UCB-based) and Bayesian (Thompson Sampling-based) settings. The key idea of these algorithms is to avoid directly estimating the $2^N$ reward distributions and instead estimate the parameters that fully specify the SEMs (linear in $N$) and use them to compute the rewards. In both algorithms, under boundedness assumptions on noise and the parameter space, the cumulative regrets scale as $ ilde{\cal O} (d^{L+\frac{1}{2}} \sqrt{NT})$, where $d$ is the graph's maximum degree, and $L$ is the length of its longest causal path. Additionally, a minimax lower of $Ω(d^{\frac{L}{2}-2}\sqrt{T})$ is presented, which suggests that the achievable and lower bounds conform in their scaling behavior with respect to the horizon $T$ and graph parameters $d$ and $L$.

연구 동기 및 목표

• 보상 노드의 부모 노드에 대한 간섭 분포가 알려져 있지 않은 경우 누적 최소 손실을 최소화하는 데 도전하는 문제를 해결한다.
• 중간 크기의 그래프에서 $2^N$개의 간섭 분포 추정의 비현실적인 비용을 피하기 위해 간섭 분포 추정 대신 SEM 매개변수 추정에 초점을 맞춘다.
• 노드 수 $N$이 아닌 그래프의 최대 차수 $d$와 최장 인과 경로 길이 $L$에 따라 스케일링되는 효율적인 알고리즘을 개발한다.
• 최소 최대 하한과 일치하는 이론적 손실 한계를 확립하여 $T$, $d$, $L$에 대한 스케일링 최적성 확인한다.
• 간섭 규칙을 수정함으로써 하드 간섭으로의 결과 확장 가능성을 확보한다.

제안 방법

• 알고리즘 설계를 위해 알려진 DAG의 구조를 가진 선형 구조적 방정식 모델(LinSEM)을 사용한다.
• 직접 $2^N$개의 간섭 분포를 추정하는 대신, SEM 매개변수(계수 및 잡음 분산)를 추정하는 UCB 기반 및 스미스 샘플링 기반 알고리즘을 사용한다.
• 유한한 잡음과 매개변수 공간의 가정을 기반으로 추정된 SEM 매개변수에 대한 신뢰집합을 구성한다.
• SEM의 구조를 활용해 각 노드에서 보상 노드로의 경로별 영향을 고려하여 기대 보상을 계산한다.
• 하드 간섭을 위해 LinSEM-UCB 알고리즘을 수정하여 간섭된 노드의 계수를 0으로 설정하고 $Z$ 항을 통해 그 값을 고정한다.
• 집중 불등식과 마팅게일 추론을 적용하여 추정 오차와 손실에 대한 고확률 한계를 유도한다.

실험 결과

연구 질문

• RQ1 직접 $2^N$개의 간섭 분포를 추정하지 않으면서도 비선형 손실을 달성할 수 있는 인과적 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 그래프의 최대 차수 $d$와 최장 인과 경로 길이 $L$에 대해 최적의 손실 스케일링은 무엇인가?
• RQ3 간섭 분포에 대한 사전 지식이 없을 경우 기존 방법과 비교해 제안된 알고리즘이 어떻게 성능을 내는가?
• RQ4 이론적 손실 한계가 최소 최대 하한과 일치하는가? 이는 최적성의 확인을 의미한다.
• RQ5 보상이 간선 가중치에 비선형적으로 의존하는 것은 선형 밴딧 스타일 알고리즘 설계에 어떤 영향을 미치는가?

주요 결과

• 제안된 UCB 기반 및 스미스 샘플링 기반 알고리즘은 $\tilde{O}(d^{L+1/2}\sqrt{NT})$의 누적 최소 손실을 달성하며, 이는 시간 영역 $T$에 대해 비선형적으로 스케일링된다.
• 최소 최대 하한 $\Omega(d^{L/2-2}\sqrt{T})$가 확립되어, 손실 한계가 로그 인자 외에는 최적이며 최적임을 보여준다.
• 손실 스케일링이 $T$, $d$, $L$에 대해 하한과 일치하여 제안된 알고리즘이 정보 이론적으로 최적임을 나타낸다.
• 경로의 복합화로 인해 보상은 간선 가중치에 대해 비선형적이며, 이는 선형 밴딧 기법의 직접 적용을 불가능하게 한다.
• $N=10$개의 노드와 5,000개의 샘플 조건에서도 관측 변수에 대한 보상의 선형 회귀 분석에서 뚜렷한 비선형성이 나타나, 구조적 모델링의 필요성을 확인한다.
• 간섭 규칙을 수정함으로써 하드 간섭 조건에서도 알고리즘이 유효하며, SEM 매개변수 행렬 $\mathbf{B}^*$를 고정된 값과 부모 의존성 제로로 반영함으로써 손실 보장을 유지한다.