[논문 리뷰] Masked Gradient-Based Causal Structure Learning

Ignavier Ng, Shengyu Zhu외 4명|arXiv (Cornell University)|2019. 10. 18.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 구조적 방정식 모델을 이진 인접 행렬(마스크)를 사용하여 재정의함으로써 기울기 기반 최적화를 가능하게 하는 새로운 미분 가능한 프레임워크인 마스킹된 기울기 기반 원인 구조 학습(MCSL)을 제안한다. Gumbel-Softmax를 활용해 이산적인 간선 추정을 하고, 매끄러운 사이클 없음 제약 조건을 도입함으로써 비선형, 벡터값, 후-비선형 모델을 포함한 다양한 데이터 유형에서 최신 기술(SOTA) 성능을 달성한다. 또한 예측값이 근처 0 또는 1에 집중되므로 0.5 임계값을 통한 단순 간선 추출이 가능하다.

ABSTRACT

This paper studies the problem of learning causal structures from observational data. We reformulate the Structural Equation Model (SEM) with additive noises in a form parameterized by binary graph adjacency matrix and show that, if the original SEM is identifiable, then the binary adjacency matrix can be identified up to super-graphs of the true causal graph under mild conditions. We then utilize the reformulated SEM to develop a causal structure learning method that can be efficiently trained using gradient-based optimization, by leveraging a smooth characterization on acyclicity and the Gumbel-Softmax approach to approximate the binary adjacency matrix. It is found that the obtained entries are typically near zero or one and can be easily thresholded to identify the edges. We conduct experiments on synthetic and real datasets to validate the effectiveness of the proposed method, and show that it readily includes different smooth model functions and achieves a much improved performance on most datasets considered.

연구 동기 및 목표

• 가중치가 부여된 인접 행렬에 의존하고 모델 잘못 설정에 민감한 기존 기울기 기반 원인 구조 학습 방법의 한계를 해결하기 위해.
• 모델 기능(예: 신경망, 다항식 등)을 임의로 통합할 수 있는 탄력적이고 미분 가능한 프레임워크를 개발하기 위해.
• 이진 마스크 추정을 통해 원천적으로 0 또는 1에 가까운 값으로 군집되는 이산적인 원인 그래프 추출을 가능하게 하여 0.5 임계값을 통한 단순한 임계 처리를 가능하게 하기 위해.
• 기울기 기반 최적화 과정에서 DAG 제약 조건을 매끄럽고 미분 가능한 방식으로 특성화하여 사이클 없음을 보장하기 위해.
• 합성 및 실제 데이터 세트, 특히 도전적인 후-비선형 및 벡터값 모델을 포함한 다양한 데이터 분포에서 방법의 효과성을 검증하기 위해.

제안 방법

• 원인 관계를 나타내는 데 이진 인접 행렬(마스크)을 사용하여 추가 노이즈 모델(ANM)을 재정의하며, 각 항목은 부모 변수가 자식에 영향을 미치는지 여부를 결정한다.
• 인접 행렬의 스펙트럼 반경을 기반으로 한 매끄럽고 미분 가능한 사이클 없음 제약 조건을 도입하여 기울기 기반 최적화를 가능하게 한다.
• 이산적인 이진 마스크를 미분 가능한 방식으로 근사하기 위해 Gumbel-Softmax의 휴리스틱을 활용하여 간선 선택 과정을 통해 역전파가 가능하게 한다.
• 관측된 변수와 예측된 변수 간의 재구성 오차를 기반으로 한 점수 함수를 사용하며, 이는 확률적 경사 하강법으로 최적화된다.
• 최종 마스크 추정치에 대해 0.5에서 임계 처리를 적용하여 이산적인 원인 그래프를 추출하며, 예측치가 근처 0 또는 1에 집중되어 있어 0.5 임계값을 통한 신뢰성 있는 간선 식별이 가능하다.
• 직접 마스킹된 SEM 프레임워크에 통합함으로써 신경망(MLP), 다항식 등 다양한 모델 기능을 유연하게 지원하며, 원인 구조 학습과 기능 형태의 가정을 분리한다.

실험 결과

연구 질문

• RQ1 SEM의 이진 마스크 파arameterization이 온화한 조건 하에서 진정한 원인 그래프의 식별성을 보장할 수 있는가?
• RQ2 이산적인 원인 구조 학습에 대해 이진 간선의 미분 가능한 근사화를 통해 기울기 기반 최적화를 효과적으로 적용할 수 있는가?
• RQ3 기존 방법이 실패하는 비선형, 벡터값, 후-비선형 데이터 모델에 대해 제안된 방법이 잘 일반화되는가?
• RQ4 마스크 항목을 0.5에서 임계 처리하여 수동 튜닝 없이 정확한 원인 그래프를 복원할 수 있는가?
• RQ5 다양한 데이터 분포에서 최신 기술 기준(예: NOTEARS, DAG-GNN, GraN-DAG, CAM)과 비교해 본다면 방법의 성능은 어떠한가?

주요 결과

• 실제 Sachs 데이터 세트에서 MCSL-MLP는 평균 12의 최저 Structural Hamming Distance(SHD)를 기록하여 CAM과 동일하고, GraN-DAG(SHD=13)를 능가했다.
• 10~50개 노드를 가진 후-비선형 모델에서 MCSL-MLP는 최저 SHD와 최고 TPR를 기록하여 GraN-DAG와 CAM을 크게 앞섰다.
• 비선형 제곱 모델에서 MCSL-MLP는 SHD 1.4를 기록하여 NOTEARS와 DAG-GNN을 포함한 모든 기준 모델을 능가했다.
• 통신 장애 원인 진단 작업에서 MCSL은 테스트 케이스의 80%에서 정확히 원인을 식별했으며, 다른 방법의 30% 성공률에 비해 훨씬 뛰어났다.
• 모델 잘못 설정에 대해 강인한 성능을 유지하여, GraN-DAG와 CAM가 요구하는 제한된 ANM 가정을 위반하는 데이터에서도 강력한 성능을 보였다.
• 예측된 마스크 항목이 강하게 0 또는 1에 집중되어 있어, 하이퍼파rameter 튜닝 없이도 고정된 0.5 임계값을 통해 신뢰성 있는 간선 식별이 가능했다.