[논문 리뷰] A polynomial-time algorithm for learning nonparametric causal graphs

Ming Gao, Yi Ding외 1명|arXiv (Cornell University)|2020. 06. 22.

Bayesian Modeling and Causal Inference참고 문헌 58인용 수 4

한 줄 요약

이 논문은 선형성, 가산성, 독립된 잡음, 충실성 등의 가정을 필요로 하지 않는 비모수적 인과 DAG 학습을 위한 다항식 시간 알고리즘을 제시한다. 모델에 종속되지 않는 접근 방식을 사용하며, 비모수적 추정기와 함께 사용하고, 유한 표본 보장을 명시적으로 제공한다. 시간 복잡도는 $O(nd^5)$이며, 표본 복잡도는 $ Omega((d^2/\varepsilon)^{1+0pt/2})$이며, 희소성 또는 매끄러움 조건 하에서 더 높은 확장성을 달성한다.

ABSTRACT

We establish finite-sample guarantees for a polynomial-time algorithm for learning a nonlinear, nonparametric directed acyclic graphical (DAG) model from data. The analysis is model-free and does not assume linearity, additivity, independent noise, or faithfulness. Instead, we impose a condition on the residual variances that is closely related to previous work on linear models with equal variances. Compared to an optimal algorithm with oracle knowledge of the variable ordering, the additional cost of the algorithm is linear in the dimension $d$ and the number of samples $n$. Finally, we compare the proposed algorithm to existing approaches in a simulation study.

연구 동기 및 목표

• 데이터로부터 비선형, 비모수적 DAG를 학습하기 위한 증명 가능하게 효율적이고 통계적으로 일致하는 알고리즘을 개발하는 것.
• 이전의 인과 구조 학습 방법에서 흔히 사용되는 선형성, 가산성, 독립된 잡음, 충실성 등의 제한적인 가정을 제거하는 것.
• 통계적 정확도와 계산 효율성에 대한 명시적이고 渐近적이지 않은 유한 표본 복잡도 경계를 제공하는 것.
• 잔차 분산 기반의 식별 가능성 조건을 모델에 종속되지 않은 설정으로 통합하고 일반화하는 것.
• CAM과 같은 탐욕적 알고리즘이 식별 가능한 설정에서도 참값 DAG를 복구하지 못할 수 있음을 보여주며, 더 견고한 방법의 필요성을 부각하는 것.

제안 방법

• 기존의 변수 순서 정렬 알고리즘(예: Ghoshal & Honorio, Chen et al.)을 커널 스무딩, 신경망 등의 플러그인 비모수적 추정기(예: 커널 스무딩, 신경망)를 사용하여 비모수적이고 모델에 종속되지 않은 설정으로 확장한다.
• 선형 모델에서 등분산 조건과 관련된 잔차 분산 조건을 도입하여, 모형 가정 없이도 식별 가능성을 확보한다.
• 선택된 비모수적 추정기의 종속성을 명시적으로 분석함으로써 알고리즘의 시간 및 표본 복잡도를 분석한다.
• 계층적 분해를 통해 DAG의 위상 순서화 과정을 안내함으로써 계산의 타당성을 향상시킨다.
• 실증 평가를 위한 실용적 구현으로 일반화된 가산 모형(GAMs)을 사용한다.
• 특히 고차원 설정에서의 런타임 향상을 위해 사전 처리 단계(이웃 선택)를 도입한다.

실험 결과

연구 질문

• RQ1 유한 표본 통계 보장과 다항식 시간 계산 복잡도를 동시에 확보할 수 있는 비모수적 인과 DAG 학습 알고리즘을 구성할 수 있는가?
• RQ2 제안된 방법은 선형성, 가용성 또는 독립된 잡음 가정 없이도 모델에 종속되지 않는 조건 하에서 일관성과 효율성을 유지하는가?
• RQ3 밀도가 높고 허브 노드가 있는 그래프에서, 최신 기술 대비 알고리즘의 성능은 인과 구조 학습 정확도와 런타임 측면에서 어떻게 비교되는가?
• RQ4 잔차 분산 조건을 사용하여 비모수적 설정에서 식별 가능성을 확립할 수 있으며, 이는 이전 결과를 어떻게 일반화하는가?
• RQ5 CAM과 같은 탐욕적 알고리즘이 식별 가능한 설정에서도 참값 DAG를 복구하지 못하는 이유는 무엇이며, 이를 공식적으로 특성화할 수 있는가?

주요 결과

• 제안된 알고리즘은 $O(nd^5)$ 시간 내에 실행되며, $\Omega((d^2/\varepsilon)^{1+0pt/2})$의 표본 수가 필요하다. $d$에 대한 지수적 의존성은 희소성 또는 매끄러움 조건 하에서 줄일 수 있다.
• 시뮬레이션 결과에서, 특히 허브 노드가 있는 더 밀도 높은 그래프에서 일반화된 가산 모형(GAMs)을 사용한 구현에서 대부분의 최신 기술 대비 뛰어난 성능을 보였다.
• CAM과 같은 탐욕적 알고리즘은 식별 가능성 조건이 만족되더라도 참값 DAG를 복구하지 못할 수 있음을 예제 5와 그림 1(a)를 통해 입증하였다.
• 사전 처리 단계(이웃 선택)의 포함으로 $d=40$일 때 CAM의 런타임이 8.5시간 이상에서 90초 이내로 감소함을 확인하여, 이의 계산적 영향을 입증하였다.
• $d=40$일 때 NPVAR는 약 2분 내에 실행되며, 사전 처리 없이 CAM을 사용할 경우 8.5시간 이상 소요됨을 통해 효율적인 사전 처리의 중요성을 강조하였다.
• 다양한 설정에서 뛰어난 성능을 달성하였으며, 표본 크기가 증가함에 따라 SHD(구조적 해밍 거리)가 향상되고, $d=70$일 때에도 낮은 오차를 유지하였다.