[논문 리뷰] Causal Bandits with Unknown Graph Structure

Yangyi Lu, Amirhossein Meisami외 1명|arXiv (Cornell University)|2021. 06. 05.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 6

한 줄 요약

이 논문은 인과 그래프 구조에 대한 사전 지식 없이 작동하는 인과 밴딧 알고리즘을 제안하며, 보상 피드백을 통한 구조적 식별과 절점 트리 분해를 활용한다. 주요 기여는 변수 수에 대해 로그 스케일링되는 리그레트 한계를 확보한 것으로, 이는 표준 다중 암반 밴딧 알고리즘보다 크게 향상된 성능을 보이며, 약간의 식별 가능성 가정 하에 성립한다. 이러한 가정은 하한을 통해 필수적임이 입증된다.

ABSTRACT

In causal bandit problems, the action set consists of interventions on variables of a causal graph. Several researchers have recently studied such bandit problems and pointed out their practical applications. However, all existing works rely on a restrictive and impractical assumption that the learner is given full knowledge of the causal graph structure upfront. In this paper, we develop novel causal bandit algorithms without knowing the causal graph. Our algorithms work well for causal trees, causal forests and a general class of causal graphs. The regret guarantees of our algorithms greatly improve upon those of standard multi-armed bandit (MAB) algorithms under mild conditions. Lastly, we prove our mild conditions are necessary: without them one cannot do better than standard MAB algorithms.

연구 동기 및 목표

• 인과 그래프 구조에 대한 사전 지식이 필요 없는 인과 밴딧 알고리즘을 개발하는 것.
• 큰 액션 세트가 존재하는 환경에서 표준 다중 암반 밴딧(MAB) 알고리즘보다 우월한 리그레트 보장을 달성하는 것.
• 인과 밴딧 학습이 비인과 방법보다 우월해지는 데 필요한 최소한의 구조적 가정을 규명하는 것.
• 인과 트리 초과의 더 넓은 범주인 인과 숲과 적절한 간격 그래프를 포함한 일반적인 인과 그래프로 접근을 일반화하는 것.
• 제안된 가정이 필요함을 최소한의 하한을 통해 입증하는 것.

제안 방법

• 보상 피드백과 트리 구조를 활용하여 보상의 직접 원인을 식별하는 새로운 알고리즘인 중앙 노드 UCB(CN-UCB)를 제안한다.
• 인과 그래프의 마르코프 동치 클래스를 표현하기 위해 무방향 클리크(절점) 트리를 사용하여 효율적인 탐색을 가능하게 한다.
• 식별된 직접 원인에 대응하는 축소된 간섭 집합에 UCB 스타일 탐색을 적용하여 리그레트를 최소화한다.
• 두 단계 절차를 활용: 첫째, 구조적 제약 조건을 통해 보상의 직접 원인을 식별하고, 둘째, 축소된 액션 세트에 대해 밴딧 알고리즘을 적용한다.
• 간섭 데이터로부터 인과 효과와 보상 구조가 식별 가능하도록 보장하기 위해 식별 가능성 가정(가정 2 및 3)을 도입한다.
• 절점 트리 분해를 통해 일반 인과 그래프로의 확장을 다루며, 변수 수에 대해 로그 스케일링되는 리그레트 한계를 증명한다.

실험 결과

연구 질문

• RQ1 인과 그래프가 알려지지 않은 상황에서 인과 밴딧 알고리즘이 표준 MAB 알고리즘보다 더 낮은 리그레트를 달성할 수 있는가?
• RQ2 인과 그래프에 대한 어떤 구조적 가정이, 그래프에 대한 사전 지식 없이도 향상된 리그레트 성능을 달성하는 데 필수적이고 충분한가?
• RQ3 완전한 인과 그래프 복원 없이도 간섭 데이터로부터 보상의 직접 원인을 효율적으로 식별할 수 있는가?
• RQ4 인과 그래프가 트리, 숲 또는 더 일반적인 그래프 클래스일 경우, 리그레트는 변수 수에 따라 어떻게 스케일링되는가?
• RQ5 제안된 리그레트 향상에 대한 가정은 필수적인가, 아니면 완화될 수 있는가?

주요 결과

• 제안된 CN-UCB 알고리즘은 Õ((d(𝒯_{G_R})ω(G_R) + ∑_{G∈CC(ℰ(D))} ω(G))K max{1/Δ², 1/ε²} log n log C_max + √(ω(G_R)KT))의 리그레트 한계를 확보하며, 이는 n에 대해 로그 스케일링된다.
• 인과 트리 및 숲의 경우 리그레트 한계는 Õ(K log n / Δ²)로 단순화되며, 이는 표준 MAB 알고리즘의 다항식 스케일링보다 훨씬 우수하다.
• 최대 차수 d(𝒯_{G_R})와 클리크 수 ω(G)가 작을 경우, 알고리즘이 표준 MAB 방법을 능가한다.
• 하한 분석 결과, 가정 2(인과 효과 식별 가능성) 또는 가정 3(보상 식별 가능성)가 없을 경우 리그레트는 Ω(√(nKT))로 나타나, 제안된 방법보다 지수적으로 열 劣하다.
• 정확한 인과 그래프 복원이 필수적인 것은 아님을 입증하며, 오직 보상의 직접 원인만 식별되어도 리그레트 향상이 가능하다.
• 이론적 보장이 타당함을 입증하며, 최소한의 하한을 통해 필요한 가정이 필수적임을 확인한다.