[논문 리뷰] NTS-NOTEARS: Learning Nonparametric DBNs With Prior Knowledge

Xiangyu Sun, Oliver Schulte외 2명|arXiv (Cornell University)|2021. 09. 09.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

NTS-NOTEARS는 시간 시리즈 데이터에서 비선형적이고 지연된(스ライ스 간) 및 순순한(스라이스 내) 의존성을 모델링하기 위해 1D 컨volution 신경망(1D CNNs)을 사용하는 점수 기반 비모수적 방법을 제안한다. 이는 순환 제약 조건을 갖는 연속 최적화로 NOTEARS 프레임워크를 확장하며, 최적화 제약 조건을 통해 사전 지식을 통합하여 합성, 벤치마크 및 실제 NHL 아이스하키 데이터에서 최신 기술 대비 F1 점수 20% 향상(최대)을 달성한다.

ABSTRACT

We describe NTS-NOTEARS, a score-based structure learning method for time-series data to learn dynamic Bayesian networks (DBNs) that captures nonlinear, lagged (inter-slice) and instantaneous (intra-slice) relations among variables. NTS-NOTEARS utilizes 1D convolutional neural networks (CNNs) to model the dependence of child variables on their parents; 1D CNN is a neural function approximation model well-suited for sequential data. DBN-CNN structure learning is formulated as a continuous optimization problem with an acyclicity constraint, following the NOTEARS DAG learning approach. We show how prior knowledge of dependencies (e.g., forbidden and required edges) can be included as additional optimization constraints. Empirical evaluation on simulated and benchmark data show that NTS-NOTEARS achieves state-of-the-art DAG structure quality compared to both parametric and nonparametric baseline methods, with improvement in the range of 10-20% on the F1-score. We also evaluate NTS-NOTEARS on complex real-world data acquired from professional ice hockey games that contain a mixture of continuous and discrete variables. The code is available online.

연구 동기 및 목표

• 시간 시리즈 데이터에서 복잡한 비선형 의존성을 포괄하지 못하는 파라미터 모델의 한계를 해결하기 위해.
• DBN에서 스라이스 간(지연된) 및 스라이스 내(동시) 의존성을 모두 포괄하는 비모수적 구조 학습 방법을 개발하기 위해.
• 최적화 제약 조건을 통해 사전 지식(예: 금지 또는 필수 간선)을 구조 학습 과정에 통합하기 위해.
• 기존 점수 기반 및 제약 기반 방법에 비해 실제 데이터 및 벤치마크 데이터에서 DBN 구조 학습의 정확성과 확장성 향상을 위해.

제안 방법

• 시간 시리즈 데이터에서 자식 변수와 부모 변수 간의 비선형 기능적 관계를 모델링하기 위해 1D 컨volution 신경망(CNNs)을 사용한다.
• 구조 학습 문제를 첫 번째 레이어 CNN 가중치에 대한 제약 최적화 문제로 공식화함으로써 NOTEARS 연속 최적화 프레임워크를 DBN에 적응시킨다. 이때 순환 제약 조건이 포함된다.
• 가중치 행렬의 행렬식을 기반으로 하는 미분 가능 제약 조건을 통해 순환성을 제거하여 결과 그래프가 DAG가 되도록 보장한다.
• 최적화 과정 중 첫 번째 레이어 CNN 가중치에 선형 부등식 제약 조건을 추가함으로써 사전 지식(예: 필수 또는 금지된 간선)을 통합한다.
• 비선형성과 사전 지식을 동시에 처리할 수 있도록 L-BFGS-B 최적화 알고리즘을 사용하여 제약 최적화 문제를 효율적으로 해결한다.
• 최적화된 첫 번째 레이어 CNN 가중치에서 DAG 구조를 추출하며, 이는 DBN 내의 부모-자식 관계를 나타낸다.

실험 결과

연구 질문

• RQ1 비모수적이고 엔드 투 엔드로 미분 가능한 방법이 시간 시리즈 데이터에서 DBN 구조를 학습하는 데 있어 파라미터 모델 및 선형 모델을 능가할 수 있는가?
• RQ2 1D CNN은 어텐션 기반 또는 MLP 기반 모델에 비해 DBN 내에서 복잡한 비선형 시간적 의존성(스라이스 간 및 스라이스 내)을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 연속 최적화를 통해 사전 지식(예: 금지 또는 필수 간선)을 얼마나 효과적으로 인코딩하고 강제로 적용할 수 있는가?
• RQ4 NTS-NOTEARS는 합성 및 실제 데이터에서 F1 점수, AUROC 및 확장성 측면에서 최신 기술 기반 점수 기반 및 제약 기반 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 로렌츠 96 벤치마크에서 NTS-NOTEARS는 평균 F1 점수 0.996 ± 0.002를 기록하여 DYNOTEARS(0.855 ± 0.016)와 TCDF(0.459 ± 0.017)를 크게 앞서며, 다음으로 좋은 방법에 비해 14% 향상되었다.
• fMRI 벤치마크에서 NTS-NOTEARS는 F1 점수 0.628 ± 0.023을 기록하여 PCMCI+(0.502 ± 0.045)와 DYNOTEARS(0.475 ± 0.020)를 능가하며 실제 뇌 네트워크 데이터에서 뛰어난 성능을 보였다.
• NTS-NOTEARS는 로렌츠 96에서 AUROC 0.811, fMRI에서 AUROC 0.749를 기록하여 다양한 하이퍼파rameter 설정에서 강력한 분류 성능을 보였다.
• 실제 NHL 아이스하키 데이터에서 NTS-NOTEARS는 슈팅 지속 시간, 골대까지의 거리(xAdjCoord(t-1)), 인원 수 상태 등 핵심 골 성공 요인을 성공적으로 식별하였다. 이는 선형 모델인 DYNOTEARS가 비선형성을 포착하지 못해 이를 놓친 바 있다.
• 특히 복잡한 의존성을 지닌 고차원 시간 시리즈 데이터에서 제약 기반 PCMCI+ 방법에 비해 더 높은 확장성과 정확성을 보였다.
• 사전 지식(예: 골 이벤트에서의 간선 금지)을 통합함으로써 모델의 정합성 향상과 도메인 특화 제약 조건에 대한 보다 우수한 일치를 가능하게 하였으며, NHL 응용 사례에서 이를 검증하였다.