[논문 리뷰] Probabilistic Active Learning of Functions in Structural Causal Models

Paul K. Rubenstein, Ilya Tolstikhin외 2명|arXiv (Cornell University)|2017. 06. 30.

Bayesian Modeling and Causal Inference참고 문헌 11인용 수 5

한 줄 요약

이 논문은 인과 그래프가 알려진 후 구조적 인과 모델(SCM)에서 기능적 관계를 학습하기 위한 베이지안 주도 학습 프레임워크를 제안한다. 알려지지 않은 함수들을 가우시안 프로세스로 모델링하고, 모든 알려지지 않은 함수에 대한 공동 정보 수확을 최대화하는 데 초점을 맞춘 단기적 주도 학습 전략을 사용함으로써, 사슬 구조와 비사슬 구조를 가진 합성 SCM에서 수동 또는 무작위 간섭 전략에 비해 더 빠르고 더 체계적인 함수 학습을 달성한다.

ABSTRACT

We consider the problem of learning the functions computing children from parents in a Structural Causal Model once the underlying causal graph has been identified. This is in some sense the second step after causal discovery. Taking a probabilistic approach to estimating these functions, we derive a natural myopic active learning scheme that identifies the intervention which is optimally informative about all of the unknown functions jointly, given previously observed data. We test the derived algorithms on simple examples, to demonstrate that they produce a structured exploration policy that significantly improves on unstructured base-lines.

연구 동기 및 목표

• 인과 그래프가 확인된 후 구조적 인과 모델(SCM)에서 기능적 관계를 학습하는 문제를 해결하기 위해.
• 모든 알려지지 않은 함수에 대한 공동 정보 수확을 최대화하는 간섭 선택 전략을 개발하기 위해.
• 실험을 합리적으로 이끌어 수동적이거나 무작위로 실험하는 것보다 샘플 효율성을 향상시키기 위해.
• 인과 함수 학습에서 간섭 비용과 정보 수확 간의 트레이드오���을 수식화하기 위해.

제안 방법

• 베이지안 비모수적 접근을 사용하여 알려지지 않은 구조적 함수를 가우시안 프로세스(GP)로 모델링한다.
• 모든 알려지지 않은 함수에 대한 공동 사후 분포에 대한 기대 정보 수확을 최대화하는 단기적 주도 학습 정책을 정의한다.
• 사후 불확실성과 간섭 간의 모델 적합도를 측정하기 위해 칼리브-라이블러(KL) 발산과 최대 평균 차이(MMD)를 사용한다.
• 사슬 구조의 SCM에서는 동적 프로그래밍을, 일반적인 DAG에서는 몬테카를로 샘플링을 사용하여 최적의 간섭 선택을 수행한다.
• 위험 함수에 간섭 비용을 통합하여 정보 수확과 실험 비용 간의 균형을 맞춘다.
• 모든 간섭에 대한 학습 성능 평가를 위한 서브티튜트 목적 함수로 총 위험 기능을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 알려지지 않은 구조적 함수를 동시에 학습하기 위해 최적으로 간섭을 선택하는 방법은 무엇인가?
• RQ2 기존 관측치를 바탕으로 모든 알려지지 않은 함수에 대한 공동 정보 수확을 최대화하는 주도 학습 전략은 무엇인가?
• RQ3 구조적 간섭 선택 전략이 수동 관측 또는 무작위 간섭에 비해 학습 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ4 베이지안 GP 기반 모델링이 임의의 DAG 구조를 가진 SCM에서 효율적이고 확장 가능한 주도 학습을 지원할 수 있는가?
• RQ5 주도 인과 모델링에서 함수 학습의 품질을 가장 잘 반영하는 지표는 무엇인가?

주요 결과

• 제안된 주도 학습 알고리즘(알고리즘 1 및 2)은 사슬 구조와 비사슬 구조 SCM 모두에서 수동 관측 및 무작위 간섭에 비해 진짜 총 위험을 크게 감소시킨다.
• 진짜 간섭 분포와 추정 간섭 분포 간의 최대 및 중앙값 KL 발산이 감소하여 사후 정확도 향상을 나타낸다.
• 최대 및 중앙값 MMD 값도 시간이 지남에 따라 감소하여 추정 간섭 분포가 진짜 분포에 수렴하는 것으로 나타났다.
• 사슬 SCM(M1)에서는 동적 프로그래밍 기반 알고리즘 1이 샘플링 기반 알고리즘 2보다 더 빠른 수렴을 달성한다.
• 비사슬 SCM(M2)에서는 샘플링 기반 알고리즘 2가 모든 평가 지표에서 무작위 및 수동 전략을 능가하여 구조적 복잡성에 대한 강건성을 입증한다.