[논문 리뷰] Causal Bandits without Graph Learning

Mikhail Konobeev, Jalal Etesami외 1명|arXiv (Cornell University)|2023. 01. 26.

Advanced Bandit Algorithms ResearchDecision Sciences인용 수 3

한 줄 요약

이 논문은 인과 밴딧에서 보상 변수의 부모 노드를 인과 그래프에 대한 사전 지식 없이 탐색하는 알고리즘인 RAndomized Parent Search(raps)를 제안한다. 원자 간섭을 사용하여 간섭 복잡도를 최적화하고, 일반 조건 하에서의 비선형 스케일링과 특정 그래픽 가정 하에서의 상용 로그 스케일링을 달성하며, 정확한 기대 간섭 횟수를 유도하고, 보편적 하한을 통해 최적성 증명을 한다.

ABSTRACT

We study the causal bandit problem when the causal graph is unknown and develop an efficient algorithm for finding the parent node of the reward node using atomic interventions. We derive the exact equation for the expected number of interventions performed by the algorithm and show that under certain graphical conditions it could perform either logarithmically fast or, under more general assumptions, slower but still sublinearly in the number of variables. We formally show that our algorithm is optimal as it meets the universal lower bound we establish for any algorithm that performs atomic interventions. Finally, we extend our algorithm to the case when the reward node has multiple parents. Using this algorithm together with a standard algorithm from bandit literature leads to improved regret bounds.

연구 동기 및 목표

• 인과 밴딧 문헌에서 인과 그래프가 사전에 알려져 있다고 가정하는 한계를 해결하기 위해.
• 인과 그래프나 그 기본 그래프에 대한 지식 없이 원자 간섭만을 사용하여 보상 변수의 부모 노드를 효율적으로 탐색하는 알고리즘을 개발하기 위해.
• 모든 DAG에 대해 알고리즘의 정확한 기대 간섭 횟수를 유도하고 이론적 최적성을 확립하기 위해.
• 다중 보상 부모 상황으로의 방법 확장과 표준 밴딧 알고리즘을 활용한 리그레트 경계 향상하기 위해.

제안 방법

• raps 알고리즘은 보상 변수의 부모 노드를 식별하기 위해 무작위로 원자 간섭을 수행하며, 간섭된 노드가 보상 노드의 조상인지 여부를 테스트한다.
• 각 간섭에서 정확한 정보를 가정할 때, 간섭 결과를 기반으로 한 통계적 검정을 통해 어떤 노드가 보상 노드의 조상인지 판단한다.
• 그래프 구조와 부모 노드를 정확히 식별할 확률에 기반한 닫힌 형식의 수식을 사용하여 기대 간섭 횟수를 정확히 유도한다.
• 동일한 원리를 반복적으로 적용하여 다중 부모를 처리할 수 있도록 알고리즘을 확장하며, 간섭 복잡도에 대한 이론적 보장을 제공한다.
• raps를 Upper Confidence Bound(UCB) 밴딧 알고리즘과 조합하여 인과 밴딧 환경에서 리그레트 경계를 향상시킨다.
• 이론적 분석을 통해 raps가 간섭 복잡도의 보편적 하한을 충족함을 증명하여 최적성 입증.

실험 결과

연구 질문

• RQ1 보상 변수의 부모 노드를 인과 그래프에 대한 사전 지식 없이 탐색할 수 있는 알고리즘을 설계할 수 있는가?
• RQ2 이러한 알고리즘이 임의의 DAG에서 정확히 몇 번의 원자 간섭이 필요한가?
• RQ3 어떤 그래픽 조건에서 간섭 복잡도가 변수 수에 대해 상용 로그 또는 비선형 스케일링을 보이는가?
• RQ4 제안된 알고리즘이 간섭 복잡도 측면에서 최적인지 확인할 수 있으며, 보편적 하한과 비교해 볼 때 어떻게 성능을 내는가?
• RQ5 알고리즘은 다중 부모 노드 상황으로 어떻게 확장할 수 있으며, 어떤 리그레트 개선 효과를 낼 수 있는가?

주요 결과

• raps 알고리즘은 논문에서 유도한 보편적 하한과 일치시켜 간섭 복잡도를 최적화하며, 정보 이론적으로 최적임을 입증한다.
• 간선 확률 $ p = 1 - \left(\frac{0.5}{\log_2 n - 1}\right)^{1/(\log_2 n - 1)} $인 에르되시-레니 무작위 DAG에서, 기대 간섭 횟수는 $ \mathcal{O}(\log n) $로 스케일링된다.
• 간선 확률 $ p = \frac{\log n}{n} $인 에르되시-레니 그래프에서는 기대 간섭 횟수가 $ \frac{n}{\log n} $로 스케일링되며, 이는 비선형이지만 상용 로그보다 느린 스케일링이다.
• 보상 노드의 부모 수가 $ |\mathcal{P}| $일 경우, 간섭 복잡도는 $ (|\mathcal{P}| + 1)\log n $로 증가하여 방법의 확장성 확인.
• 실험 결과는 이론적 수식으로 예측한 기대 간섭 횟수가 $ n = 1000 $인 에르되시-레니 그래프에서 20회의 실행 평균과 정확히 일치함을 보여준다.
• raps + UCB 조합은 UCB 단독 대비 향상된 리그레트 경계를 달성하지만, 예산과 문제 파라미터에 의존함에 따라 변동성이 더 크다.