[논문 리뷰] Gradient-Based Neural DAG Learning

Sébastien Lachapelle, Philippe Brouillard외 2명|arXiv (Cornell University)|2019. 06. 05.

Bayesian Modeling and Causal Inference참고 문헌 44인용 수 15

한 줄 요약

이 논문은 비선형 관계를 모델링하기 위해 신경망을 사용하는 기울기 기반 방법인 GraN-DAG를 제안한다. NOTEARS 연속 최적화 프레임워크를 비선형성에 맞게 확장하고, 미분 가능한 사이클 제약 조건을 도입함으로써, GraN-DAG는 시뮬레이션 데이터와 실제 데이터에서 최신 기술 수준의 성능을 달성한다. 이는 연속적 방법을 능가하고, CAM 및 GSF와 같은 탐욕적 탐색 방법과 주요 인과 추론 지표에서 유사한 성능을 기록한다.

ABSTRACT

We propose a novel score-based approach to learning a directed acyclic graph (DAG) from observational data. We adapt a recently proposed continuous constrained optimization formulation to allow for nonlinear relationships between variables using neural networks. This extension allows to model complex interactions while avoiding the combinatorial nature of the problem. In addition to comparing our method to existing continuous optimization methods, we provide missing empirical comparisons to nonlinear greedy search methods. On both synthetic and real-world data sets, this new method outperforms current continuous methods on most tasks, while being competitive with existing greedy search methods on important metrics for causal inference.

연구 동기 및 목표

• 비선형 관계가 존재할 때 관측 데이터로부터 인과 DAG의 구조를 학습하는 데 도전하는 것.
• 신경망을 사용하여 비선형 의존성을 지원하는 NOTEARS 연속 최적화 프레임워크를 확장하는 것.
• CAM 및 GSF와 같은 비선형 탐욕적 탐색 방법과의 비교를 통해 실증 평가의 격차를 메우는 것.
• 조합 최적화를 피하면서도 강력한 성능을 유지하는 확장 가능한, 미분 가능한 접근법을 제공하는 것.

제안 방법

• 구조 방정식 모델 내에서 비선형 관계를 포착하기 위해 선형 모델을 피드포워드 신경망으로 대체함으로써 NOTEARS 프레임워크를 확장한다.
• 스펙트럼 반경이 1 미만이 되도록 하여 인접 행렬에 대한 미분 가능한 경로 기반 리프레젠테이션을 사용해, 미분 가능한 사이클 제약 조건을 구현한다.
• DAG 제약 조건을 인접 행렬의 미분 가능한 함수로 강제하는 연속 최적화 설정을 사용하여 기울기 하강법을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 신경망 수준와 그래프 수준에서 사이클 조건의 경로 기반 리프레젠테이션을 사용해, 유지 가능한 미분 가능성 확보.
• 두 단계 최적화 프로세스를 적용: 먼저 신경망 파라미터를 최적화하고, 이후 투영 기반 기울기 방법을 사용해 인접 행렬을 정밀 조정.
• 최종 DAG의 희박성과 해석 가능성 향상을 위해 도구 제거 기법과 임계값 전략을 도입한다.

실험 결과

연구 질문

• RQ1 신경망을 사용하여 비선형 DAG 구조 학습을 위한 연속적이고, 미분 가능한 최적화 프레임워크를 확장할 수 있는가? 이때 사이클 제약 조건을 유지할 수 있는가?
• RQ2 GraN-DAG는 시뮬레이션 및 실제 데이터에서 NOTEARS 및 DAG-GNN와 같은 기존 연속적 방법에 비해 어떤 구조 학습 정확도를 보이는가?
• RQ3 GraN-DAG는 비선형 환경에서 CAM 및 GSF와 같은 탐욕적 탐색 방법에 비해 경쟁 가능한 성능을 달성하는가?
• RQ4 미분 가능한 사이클 제약 조건은 딥 모델을 사용한 DAG 학습의 확장성과 수렴성에 어떤 영향을 미치는가?
• RQ5 GraN-DAG는 고차원 및 실제 생물학적 데이터를 포함한 다양한 데이터 유형으로 일반화 가능한가?

주요 결과

• 10개 노드를 가진 시뮬레이션 데이터에서 GraN-DAG는 평균 SHD 2.6±2.4를 기록하여 NOTEARS(21.2±11.5)와 DAG-GNN(8.7±2.8)를 크게 능가했고, 모든 지표에서 CAM 및 GSF와 유사하거나 뛰어난 성능을 보였다.
• 50개 노드를 가진 ER4 시뮬레이션 그래프에서 GraN-DAG는 평균 SID 37.1±12.4를 기록하여 NOTEARS(41.3±11.5)와 DAG-GNN(63.6±8.6)를 능가했고, 일부 경우에서 CAM(28.5±21.5)과 GSF(44.5±19.7)와 유사한 성능을 기록했다.
• 실제 단백질 신호 전달 데이터셋에서 GraN-DAG는 SHD 12.0과 SHD-C 9.0을 기록하여 NOTEARS(15.0과 14.0)를 능가했고, 주요 지표에서 CAM(11.0과 9.0)과 동등한 성능을 기록했다.
• 20개 노드를 가진 SynTReN 데이터셋에서 GraN-DAG는 평균 SHD 41.2±9.6을 기록하여 NOTEARS(44.2±27.5)와 DAG-GNN(32.2±5.0)를 능가했고, SHD에서는 CAM(101.7±37.2)와 유사했지만 SHD-C에서는 더 우수한 성능를 기록했다.
• 하이퍼파rameter 서치에서 GraN-DAG는 모든 설정에서 NOTEARS와 DAG-GNN보다 낮은 SHD와 SID를 지속적으로 기록하여 강건성과 일반화 능력을 입증했다.
• GraN-DAG는 시뮬레이션 및 실제 데이터 모두에서 뛰어난 성능를 보였으며, 특히 SHD와 SID 지표에서 CAM 및 GSF와 같은 탐욕적 탐색 기반 기준선과 유사한 성능를 기록했다.