[논문 리뷰] Using Embeddings to Correct for Unobserved Confounding in Networks

Victor Veitch, Zhaoran Wang외 1명|arXiv (Cornell University)|2019. 02. 11.

Advanced Causal Inference Techniques참고 문헌 48인용 수 21

한 줄 요약

이 논문은 관측되지 않은 혼동요인을 고려한 네트워크에서 인과적 추론을 위한 새로운 방법을 제안한다. 네트워크 임bedding를 잠재된 혼동요인의 대체 측정으로 활용함으로써, 치료 및 결과 예측을 반감독 학습 문제로 재정의한다. 약한 조건 하에서도 타당한 인과적 추정을 보이며, 특히 혼동요인이 부분적으로 외생적인 경우, 반시뮬레이션 실험에서 기존 방법들을 능가한다.

ABSTRACT

We consider causal inference in the presence of unobserved confounding. We study the case where a proxy is available for the unobserved confounding in the form of a network connecting the units. For example, the link structure of a social network carries information about its members. We show how to effectively use the proxy to do causal inference. The main idea is to reduce the causal estimation problem to a semi-supervised prediction of both the treatments and outcomes. Networks admit high-quality embedding models that can be used for this semi-supervised prediction. We show that the method yields valid inferences under suitable (weak) conditions on the quality of the predictive model. We validate the method with experiments on a semi-synthetic social network dataset. Code is available at github.com/vveitch/causal-network-embeddings.

연구 동기 및 목표

• 관측되지 않은 혼동요인이 치료와 결과에 영향을 주는 네트워크에서 인과적 추론을 다루며, 특히 잘 정의된 생성 모델이 존재하지 않는 경우를 대상으로 한다.
• 잠재된 혼동요인의 대체 측정으로 네트워크 임베딩을 사용함으로써 강한 파rametric 가정을 피할 수 있는 방법을 개발한다.
• 임베딩을 활용해 인과적 추정 문제를 반감독 예측 작업으로 환원함으로써, 진짜 혼동요인 분포에 대한 완전한 지식이 없어도 강건한 추론이 가능하도록 한다.
• 반시뮬레이션 사회 네트워크 데이터에서 실증적으로 방법을 검증하여 평균 치료 효과 추정의 정확도 향상을 입증한다.

제안 방법

• 이 방법은 인과적 추론을 반감독 예측 문제로 간주하며, 네트워크 구조에서 유도된 노드 임베딩을 사용해 치료와 결과를 동시에 예측한다.
• 딥러닝 기반 네트워크 임베딩 모델(예: node2vec, DeepWalk)을 활용해 구조적 및 관계적 정보를 반영한 저차원 표현을 생성한다.
• 임베딩을 치료 및 결과 예측 모델의 특징으로 사용하며, 최종 인과적 효과는 TMLE나 역확률가중치와 같은 이중으로 강건한 추정기법을 통해 추정한다.
• 임베딩 모델이 치료 및 결과의 혼동요인 관련 성분을 강력한 예측자로 생성할 수 있다는 가정을 하며, 이 모델이 생성 모델일 필요는 없다.
• 임베딩 모델의 예측 성능에 대한 약한 조건 하에서, 비i.i.d. 네트워크 데이터에 대해서도 강건성을 입증한다.
• 두 단계 추정 또는 파arametric 모델에 의존하지 않기 위해, 임베딩과 결과 및 치료 예측 헤드를 동시에 훈련하는 단일 단계 절차를 제안한다.

실험 결과

연구 질문

• RQ1 생성 모델이 존재하지 않을 때, 네트워크 임베딩이 관측되지 않은 혼동요인의 타당한 대체 측정으로 기능할 수 있는가?
• RQ2 관측되지 않은 혼동요인이 존재하는 상황에서, 치료 및 결과를 모두 임베딩을 통해 예측하는 것이 기존 방법보다 인과적 효과 추정을 향상시키는가?
• RQ3 네트워크 구조에 의해 포괄되지 않는 외생 성분을 포함한 혼동요인에 대해 이 방법의 강건성은 어떠한가?
• RQ4 반시뮬레이션 네트워크 데이터에서 제안된 단일 단계 임베딩 기반 방법은 이중 단계 또는 파arametric 기반 기준보다 어떤 성능을 보이는가?
• RQ5 어떤 조건에서 이 방법이 타당한 인과적 추론을 제공하며, 유한 표본에서 이중으로 강건한 추정기법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 임베딩 기반 방법은 모든 시뮬레이션 설정에서 조정되지 않은, 파arametric 및 이중 단계 기준 대비 평균 치료 효과(ATE) 추정을 크게 향상시켰다.
• 저도 및 고도의 혼동 상황에서, 단일 단계 임베딩 추정기($\hat{\psi}^{\mathrm{A}}_{n}$)는 각각 1.24 ± 0.04 및 3.40 ± 0.04(저도), 1.09 ± 0.02 및 2.03 ± 0.07(고도)의 ATE 추정치를 기록하여 모든 기준을 능가했다.
• 혼동요인이 외생 성분을 포함할 경우(p > 0), 조건부 결과만 예측하는 추정기의 성능이 가장 뛰어나, 혼동요인이 네트워크 구조에 완전히 포함되지 않을 경우 임베딩 기반 대체 측정의 한계를 보여주었다.
• 외생 혼동요인이 존재하지 않을 경우(p = 0), 강건한 TMLE 추정기가 가장 우수한 성능을 보였으며, 이는 모델 가정 하에서 이론적 강건성을 검증하였다.
• 네트워크가 모든 혼동요인을 완전히 반영하지 못하는 경우에도 이 방법은 효과적으로 작동함을 보이며, 부분적으로 관측 가능한 혼동요인을 가진 현실적인 설정에서 실용적 유용성을 입증했다.
• 실증 결과는 네트워크 보정이 추정을 일관되게 향상시키며, 파arametric 및 이중 단계 방법보다 임베딩 기반 접근이 더 낮은 평균 제곱오차를 기록함을 보여주었다.