[논문 리뷰] Direct Learning with Guarantees of the Difference DAG Between Structural Equation Models

Asish Ghoshal, Kevin Bello외 1명|arXiv (Cornell University)|2019. 06. 28.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 4

한 줄 요약

이 논문은 동일한 위상적 순서를 가진 두 개의 선형 구조 방정식 모델(SEM) 간의 구조적 차이를 추정하기 위한 직접 학습 알고리즘을 제안한다. 정밀도 행렬의 차이를 활용하여 표본 효율성을 달성한다. 이 방법은 오직 $\mathcal{O}(d^2 \log p)$개의 표본만으로도 차이 DAG를 정확하게 복원할 수 있으며, 여기서 $d$는 차이 DAG의 희박성이다. 또한 표본 복잡도의 일관된 기본 하한선을 설정한다.

ABSTRACT

Discovering cause-effect relationships between variables from observational data is a fundamental challenge in many scientific disciplines. However, in many situations it is desirable to directly estimate the change in causal relationships across two different conditions, e.g., estimating the change in genetic expression across healthy and diseased subjects can help isolate genetic factors behind the disease. This paper focuses on the problem of directly estimating the structural difference between two structural equation models (SEMs), having the same topological ordering, given two sets of samples drawn from the individual SEMs. We present an principled algorithm that can recover the difference SEM in $\mathcal{O}(d^2 \log p)$ samples, where $d$ is related to the number of edges in the difference SEM of $p$ nodes. We also study the fundamental limits and show that any method requires at least $Ω(d' \log \frac{p}{d'})$ samples to learn difference SEMs with at most $d'$ parents per node. Finally, we validate our theoretical results with synthetic experiments and show that our method outperforms the state-of-the-art. Moreover, we show the usefulness of our method by using data from the medical domain.

연구 동기 및 목표

• 동일한 위상적 순서를 가진 두 SEM 간의 인과적 구조 차이를 직접 추정함으로써, 개별 모델 복원을 통한 간접 추정을 피하고자 한다.
• 개별 SEM이 조밀하지만 그 차이가 희박한 경우에도 유한 표본 보장을 확보하여 차이 DAG를 복원하고자 한다.
• 차이 SEM을 학습하는 데 필요한 기본 표본 복잡도 한계를 규명하여, $\Omega(d'\log(p/d'))$개의 표본이 필요하다는 하한선을 제시하고자 한다.
• 합성 및 실제 데이터 실험(의료 fMRI 데이터셋 포함)을 통해 제안된 방법이 최신 기법들보다 뛰어난 성능을 보임을 검증하고자 한다.

제안 방법

• 알고리즘은 정점들을 반복적으로 제거하고 나머지 변수들에 대해 정밀도 행렬의 차이를 재추정하며, 기존의 정밀도 행렬 차이 추정 기법을 활용한다.
• 원래 SEM의 개별 회귀 계수나 잡음 분산을 추정하는 것을 피하고, 오직 차이 구조에만 집중한다.
• 차이 DAG의 안정적 복원을 보장하기 위해 상호 비일관성 조건을 활용한다.
• 유한 표본 보장을 위해 농도 부등식을 사용하며, 표본 복잡도는 차이 정밀도 행렬의 $\ell_1$-노름과 조건 간 최소 대각선 분산에 따라 달라진다.
• 추정 오차를 제어하기 위해 임계값 $\epsilon$을 사용하는 유한 표본 버전으로 알고리즘을 구현하여, 높은 확률로 정확한 복원을 보장한다.
• 이론적 분석은 고차원 통계에서 정밀도 행렬의 차이에 관한 결과를 활용하여 날카로운 경계를 도출한다.

실험 결과

연구 질문

• RQ1 간접적 방법(즉, 개별 모델 복원을 먼저 수행하는 방식)보다 더 적은 표본 수로 두 SEM 간의 차이 DAG를 직접 추정할 수 있는가?
• RQ2 노드당 최대 $d'$개의 부모를 가진 두 SEM 간의 차이 DAG를 학습하는 데 필요한 기본 표본 복잡도 하한선은 무엇인가?
• RQ3 직접 차이 추정의 표본 복잡도는 개별 모델 복원을 통한 간접 추정과 비교해 어떻게 되는가?
• RQ4 유한 표본 보장을 확보하기 위해 어떤 조건이 필요한가?
• RQ5 제안된 방법은 합성 및 실제 세계 설정 모두에서 기존 기법들을 능가하는가?

주요 결과

• 제안된 알고리즘은 $\mathcal{O}(d^2 \log p)$개의 표본만으로도 차이 DAG를 높은 확률로 정확히 복원한다. 여기서 $d$는 차이 DAG의 간선 수이다.
• 이 방법의 표본 복잡도는 전체 모델의 복잡도와는 무관하게, 오직 차이 DAG의 희박성과 차이 정밀도 행렬의 $\ell_1$-노름에만 의존한다.
• 일致하는 하한선 $\Omega(d'\log(p/d'))$개의 표본이 확립되어, 이 방법이 로그 인자에 대해 최적임을 보여준다.
• 개별 모델이 조밀한데도 차이가 희박한 경우, 간접적 접근보다 이 방법이 뛰어나게 성능을 발휘한다.
• 실제 fMRI 실험에서는 뇌 연결성의 생물학적으로 의미 있는 변화를 성공적으로 식별하였으며, 특히 시각 피질에서 차이 DAG에 참여한 영역는 157개 중 12개에 불과했다.
• 합성 실험 결과는 변수 수 $p$에 대한 로그 의존성($\mathcal{O}(\log p)$ 표본 복잡도 스케일링)이 검증되었으며, 이는 이론적 결과와 일치한다.