[논문 리뷰] An Analysis of the Adaptation Speed of Causal Models

Rémi Le Priol, Reza Babanezhad Harikandeh외 2명|arXiv (Cornell University)|2020. 05. 18.

Bayesian Modeling and Causal Inference참고 문헌 39인용 수 5

한 줄 요약

이 논문은 간섭 시 구조적 인과 모델(SCM)의 적응 속도를 분석하며, 적응 효율성의 대체 지표로 매개변수 공간 거리를 사용한다. 진정한 인과 모델은 원인이 간섭될 경우 더 빠르게 적응하지만, 결과가 간섭될 경우 반인과 모델이 더 빠를 수 있음을 보여주며, 진정한 인과 모델이 항상 가장 빠르게 적응한다는 가설을 도전한다.

ABSTRACT

Consider a collection of datasets generated by unknown interventions on an unknown structural causal model $G$. Recently, Bengio et al. (2020) conjectured that among all candidate models, $G$ is the fastest to adapt from one dataset to another, along with promising experiments. Indeed, intuitively $G$ has less mechanisms to adapt, but this justification is incomplete. Our contribution is a more thorough analysis of this hypothesis. We investigate the adaptation speed of cause-effect SCMs. Using convergence rates from stochastic optimization, we justify that a relevant proxy for adaptation speed is distance in parameter space after intervention. Applying this proxy to categorical and normal cause-effect models, we show two results. When the intervention is on the cause variable, the SCM with the correct causal direction is advantaged by a large factor. When the intervention is on the effect variable, we characterize the relative adaptation speed. Surprisingly, we find situations where the anticausal model is advantaged, falsifying the initial hypothesis. Code to reproduce experiments is available at this https URL

연구 동기 및 목표

• 진정한 구조적 인과 모델(SCM)이 다른 모델들보다 간섭에 대해 가장 빨리 적응하는지 엄밀히 분석하기 위해.
• 인과 모델과 반인과 모델이 간섭 후에 더 빠르게 적응하는 조건을 조사하기 위해.
• Bengio 등(2020)이 제기한 추측, 즉 진정한 SCM이 항상 가장 빠르게 적응한다는 것을 도전하기 위해.
• 확률적 최적화의 수렴 속도를 사용해 공식적인 정당성을 제공하기 위해.

제안 방법

• 확률적 최적화의 수렴 속도를 사용해 간섭 후 매개변수 공간 거리로 적응 속도의 대체 지표를 정의한다.
• 통제된 간섭 하에서 이진 및 정규 분포 원인-결과 SCM에 대해 이 지표를 적용한다.
• 원인 변수와 결과 변수에 대한 간섭 하에서 진정한 인과 모델과 그 반인과 대응 모델 간의 적응 속도를 비교한다.
• 수학적 분석을 통해 다양한 간섭 제도에서 상대적 적응 성능을 특성화한다.
• 반인과 모델이 인과 모델보다 적응 속도에서 뛰어날 조건을 유도한다.

실험 결과

연구 질문

• RQ1 Bengio 등(2020)이 제안한 바와 같이, 진정한 인과 모델은 항상 간섭 후 가장 빨리 적응하는가?
• RQ2 원인이 간섭될 경우 인과 모델과 반인과 모델의 적응 속도는 어떻게 비교되는가?
• RQ3 결과가 간섭될 경우 적응 속도는 어떻게 다를까?
• RQ4 어떤 조건에서 반인과 모델이 진정한 인과 모델보다 더 빨리 적응할 수 있는가?
• RQ5 SCM에서 적응 속도에 대한 타당한 대체 지표로 어떤 지표가 사용될 수 있는가?

주요 결과

• 원인이 간섭될 경우, 진정한 인과 모델은 반인과 모델보다 상당히 더 빠르게 적응하며, 뚜렷한 성능 우위를 보인다.
• 결과가 간섭될 경우 상대적 적응 속도는 모델 매개변수에 따라 달라지며, 반인과 모델이 유리할 수 있다.
• 반인과 모델이 진정한 인과 모델보다 적응 속도에서 뛰어날 수 있는 상황이 존재하며, 이는 初기 가설을 반증한다.
• 간섭 후 매개변수 공간 거리는 SCM에서 적응 속도에 대한 타당하고 유용한 대체 지표로 기능한다.
• 분석 결과, 인과 방향만으로는 더 빠른 적응을 보장하지 못하며, 간섭 대상과 모델 구조가 핵심 요소임을 드러낸다.