[논문 리뷰] Algebraic Equivalence of Linear Structural Equation Models

Thijs van Ommen, Joris M. Mooij|arXiv (Cornell University)|2018. 07. 10.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 7

한 줄 요약

이 논문은 선형 구조적 방정식 모델(SEM)에 대한 모델 등가성의 보다 정교한 개념으로 대수적 등가성(algebraic equivalence)을 도입하며, 공분산에 대한 다항 등식 제약 조건이 동일한 모델을 식별함으로써 보다 정확한 인과적 발견을 가능하게 한다. 반트레크 기준을 활용하여 대수적 등가성을 효율적으로 판단하는 방법을 개발하였으며, 실험을 통해 이러한 제약 조건을 통합함으로써 모델 선택 정확도가 향상됨을 입증하였다—특히 Y-구조를 탐지하는 데서는 재현율을 유지하면서도 정밀도가 향상되었다.

ABSTRACT

Despite their popularity, many questions about the algebraic constraints imposed by linear structural equation models remain open problems. For causal discovery, two of these problems are especially important: the enumeration of the constraints imposed by a model, and deciding whether two graphs define the same statistical model. We show how the half-trek criterion can be used to make progress in both of these problems. We apply our theoretical results to a small-scale model selection problem, and find that taking the additional algebraic constraints into account may lead to significant improvements in model selection accuracy.

연구 동기 및 목표

• 선형 SEM에서 공분산에 대한 등식 제약 조건(다항 등식 제약 조건)을 체계적으로 나열하는 데에 대한 부족함을 해결하기 위해.
• 관찰 데이터 하에서 두 혼합 그래프가 동일한 통계 모델을 정의하는지 여부를 판단하는 데 어려움을 해결하기 위해.
• 조건부 독립성 외의 등식 제약 조건을 고려하는 Markov 등가성보다 더 세밀한 등가성 개념을 도입함으로써 인과적 발견을 향상시키기 위해.
• 대수적 등가성이 모델 선택에 실질적인 이점을 제공함을 보여주기 위해, 특히 Markov 등가이지만 대수적으로 등가가 아닌 모델들을 구분할 수 있음을 강조하기 위해.
• 관찰 데이터에서 Y-구조와 같은 특정 구조적 특징을 탐지하는 데 있어 대수적 제약 조건을 통합함으로써 정밀도가 향상됨을 보여주기 위해.

제안 방법

• 공분산 행렬에 대한 동일한 다항 등식 제약 조건을 만족하는 것으로 정의되는 선형 SEM 간의 새로운 등가성 관계로 대수적 등가성을 제안한다.
• 반트레크 기준을 적용하여 주어진 혼합 그래프(잠재 공변인자 및 방향 순환 포함)가 유도하는 대수적 제약 조건을 효율적으로 식별하고 검증한다.
• 대수기하학 개념(자리스키 폐쇄)을 활용하여, 두 통계 모델이 그들의 대수적 제약 조건이 일치할 경우 등가임을 수학적으로 정의한다.
• 대수적 등가성 클래스를 활용해 후보 모델를 걸러내는 방식으로 제약 기반 및 점수 기반 모델 선택 방법을 개선한다.
• 모델 선택 과정에서 가장 높은 점수를 받은 모델이 기대하는 등가성 클래스(예: Y-구조)에 속하는지 확인하는 필터링 절차를 도입하여 정밀도를 향상시킨다.
• 대수적 등가성 클래스 내에서 서로 다른 스켈레톤을 가진 그래프가 포함될 수 있음을 활용하여, 최적화 실패(예: RICF 수렴 문제)가 발생할 경우 더 수치적으로 안정적인 대체 표현으로 전환할 수 있는 실용적인 모델 선택 전략을 가능하게 한다.

실험 결과

연구 질문

• RQ1 주어진 혼합 그래프를 가진 선형 SEM이 유도하는 대수적 제약 조건(공분산에 대한 다항 등식 제약 조건)을 체계적으로 나열할 수 있는가?
• RQ2 두 혼합 그래프가 관찰 가능한 공분산 제약 조건 측면에서 동일한 통계 모델을 정의하는지 여부를 어떻게 판단할 수 있는가?
• RQ3 Markov 등가성 외에 대수적 등가성을 통합할 경우, 관찰 데이터로부터의 인과적 구조 학습 정확도가 얼마나 향상되는가?
• RQ4 대수적 등가성이 최적화 실패 문제(예: 우도 기반 방법의 수렴 실패)와 같은 실용적 문제 해결에 활용될 수 있는가?
• RQ5 대수적 등가성 필터링은 고차원 데이터에서 Y-구조와 같은 특정 구조적 패턴을 탐지하는 데 있어 정밀도에 어떤 영향을 미치는가?

주요 결과

• 반트레크 기준을 통해 대수적 제약 조건(예: 그림 1에 나타낸 그래프의 비독립성 제약 조건)을 효율적으로 식별할 수 있었다.
• 대수적 등가성은 Markov 등가이지만 등식 제약 조건에서 다름을 보이는 모델들을 구분할 수 있다—예를 들어, 그림 1의 그래프는 네 노드에서의 포화 모델과 대수적으로 등가가 아니다.
• 대수적 등가성 클래스를 활용한 후보 모델 필터링으로 인해, 모든 테스트 차원(p=10,30,50)에서 Y-구조 탐지 정밀도가 최대 0.1 향상되었으며, 특히 Y-구조와 확장된 Y-구조를 동시에 탐지할 때 성과 향상이 두드러졌다.
• 필터링 절차는 높은 재현율을 유지하였으며, 모든 차원에서 최소 98%의 참 양성률이 유지되어 민감도에 대한 비용이 최소한이었다.
• 화살표가 있는 모델의 경우, RICF(정규화된 최대우도 추정)가 자주 수렴하지 않았다; 대수적 등가성을 활용해 동일한 클래스 내에서 다른 스켈레톤을 선택함으로써 수치적 안정성을 향상시킬 수 있었다.
• 대수적 등가성 클래스는 서로 다른 스켈레톤을 가진 그래프를 포함할 수 있으며, 이는 최적화 실패를 피하기 위해 수치적으로 유리한 대체 표현을 선택할 수 있는 실용적인 모델 선택 전략을 가능하게 한다.