[논문 리뷰] Causal Bandits without prior knowledge using separating sets

Arnoud A. W. M. de Kroon, Danielle Belgrave외 1명|arXiv (Cornell University)|2020. 09. 16.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 사전에 인과 구조나 간섭 분포에 대한 지식이 없이도 데이터로부터 분리 집합을 학습하는 인과 밴딧 알고리즘을 제안한다. 조건부 인력 테스트나 인과 발견 방법을 사용하여, 조건부 독립 테스트를 통해 인과적 의존성 구조를 활용함으로써 이산 모델과 가우시안 모델 모두에서 성능 향상을 이룬다. 특히 교란이나 사이클이 존재하는 상황에서도 기존의 밴딧 방법보다 우수한 성능을 보이며, 시뮬레이션과 실제 단백질 신호 전파 데이터에서 검증되었다.

ABSTRACT

The Causal Bandit is a variant of the classic Bandit problem where an agent must identify the best action in a sequential decision-making process, where the reward distribution of the actions displays a non-trivial dependence structure that is governed by a causal model. Methods proposed for this problem thus far in the literature rely on exact prior knowledge of the full causal graph. We formulate new causal bandit algorithms that no longer necessarily rely on prior causal knowledge. Instead, they utilize an estimator based on separating sets, which we can find using simple conditional independence tests or causal discovery methods. We show that, given a true separating set, for discrete i.i.d. data, this estimator is unbiased, and has variance which is upper bounded by that of the sample mean. We develop algorithms based on Thompson Sampling and UCB for discrete and Gaussian models respectively and show increased performance on simulation data as well as on a bandit drawing from real-world protein signaling data.

연구 동기 및 목표

• 인과 구조나 간섭 분포에 대한 사전 지식이 필요 없는 인과 밴딧 알고리즘을 개발하는 것.
• 분리 집합을 통한 구조적 의존성 활용으로 순차적 의사결정 성능 향상을 이루는 것.
• 관측 데이터와 간섭 데이터에서 조건부 인력 테스트를 사용해 분리 집합을 직접 추정할 수 있음을 보여주는 것.
• 제안된 추정기의 분산이 유한하며, 구조적 환경에서 기존의 밴딧 알고리즘보다 뛰어난 성능을 보임을 보여주는 것.

제안 방법

• 문맥 변수 I ⊥⊥ Y | S 를 만족하는 분리 집합 S 를 사용하여, 다양한 간섭 간 정보 공유를 가능하게 한다.
• 수집된 데이터에 대한 조건부 인력 테스트를 통해 분리 집합 성질을 추정하며, 전체 인과 발견을 피하고 타겟된 테스트에 집중한다.
• 이산 모델의 경우, 분리 집합 기반 추정기를 사용하는 톰슨 샘플링을 적용하여 분산을 감소시킨다.
• 선형 가우시안 모델의 경우, UCB-normal을 수정하여 분리 집합 정보를 통합함으로써 더 나은 오차 경계를 확보한다.
• 가용한 인과 발견 알고리즘의 결과를 통합하여, 테스트 오류에 대한 강건성을 향상시킨다.
• 관측 데이터를 활용하여 조건부 인력 테스트의 오류를 보정함으로써 신뢰성을 향상시킨다.

실험 결과

연구 질문

• RQ1 인과 밴딧 알고리즘이 인과 그래프나 간섭 분포에 대한 사전 지식 없이도 더 나은 누적 오차 성능을 달성할 수 있는가?
• RQ2 순차적 의사결정 환경에서 온라인으로 분리 집합을 데이터로부터 어떻게 추정할 수 있는가?
• RQ3 이산 설정에서 제안된 추정기의 분산은 표본 평균과 비교해 어떻게 행동하는가?
• RQ4 분리 집합을 활용하면 복잡한 의존성을 가진 실제 생물학적 데이터에서 성능 향상이 이루어지는가?
• RQ5 관측 데이터와 간섭 데이터를 결합하면 분리 집합 탐지 정확도에 어떤 영향을 미치는가?

주요 결과

• 이산 변수에 대한 제안된 추정기의 분산은 표본 평균의 분산보다 항상 상한을 가지며, 안정적인 성능을 보장한다.
• 4개의 노드로 구성된 234개의 DAG에 대한 시뮬레이션에서, 분리 집합 추정 기반 알고리즘이 기존의 밴딧 기반 알고리즘보다 누적 오차를 크게 감소시켰다.
• Sachs 등이 제시한 단백질 신호 전파 데이터에서, Causal UCB-Normal 알고리즘이 기존의 UCB보다 뛰어난 성능을 보였으며, 특히 1000~4000회 반복 사이에서 두드러진 성능 향상을 보였다.
• ASD-JCI123kt 변종은 직접 테스트보다 추가적인 관측 샘플을 통해 더 큰 이점을 얻었으며, 이는 오류 보정 능력 향상을 시사한다.
• 진정한 분리 집합이 존재하지 않는 경우에도 이 방법은 소규모 손실만을 초래하여, 잘못된 양성 결과에 대해 강건함을 입증했다.
• 이 프레임워크는 분리 집합이 구조적 인과 밴딧에서 편향-분산 트레이드오프를 향상시키는 강력한 인덕티브 바이어스가 될 수 있음을 보여주었다.