[논문 리뷰] DYNOTEARS: Structure Learning from Time-Series Data

Roxana Pamfil, Nisara Sriwattanaworachai외 5명|arXiv (Cornell University)|2020. 02. 02.

Bayesian Modeling and Causal Inference참고 문헌 54인용 수 4

한 줄 요약

DYNOTEARS는 시간 시리즈 데이터에서 동시에 존재하는 동일 시점 간 관계(intra-slice)와 시간 지연 관계(inter-slice)를 함께 추정하는 점수 기반 방법을 제안한다. 비순환성의 매끄러운 대수적 특성화를 활용하여, 표준 두 번째 차수 최적화 기반의 제약 최적화 문제로 구조 학습을 공식화함으로써, 시뮬레이션 및 금융, 분자 생물학 분야의 실세계 데이터셋에서 고차원 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We revisit the structure learning problem for dynamic Bayesian networks and propose a method that simultaneously estimates contemporaneous (intra-slice) and time-lagged (inter-slice) relationships between variables in a time-series. Our approach is score-based, and revolves around minimizing a penalized loss subject to an acyclicity constraint. To solve this problem, we leverage a recent algebraic result characterizing the acyclicity constraint as a smooth equality constraint. The resulting algorithm, which we call DYNOTEARS, outperforms other methods on simulated data, especially in high-dimensions as the number of variables increases. We also apply this algorithm on real datasets from two different domains, finance and molecular biology, and analyze the resulting output. Compared to state-of-the-art methods for learning dynamic Bayesian networks, our method is both scalable and accurate on real data. The simple formulation and competitive performance of our method make it suitable for a variety of problems where one seeks to learn connections between variables across time.

연구 동기 및 목표

• 시간 시리즈 데이터에서 즉각적인(intra-slice) 및 지연된(inter-slice) 의존성을 모두 포괄하는 동적 베이지안 네트워크(DBN) 학습의 과제를 해결하기 위해.
• 관측 수(n)보다 변수 수(d)가 많은 고차원 설정에서(DBN의 구조 학습을 위한 확장 가능하고 정확한 방법을 개발하기 위해).
• 기존의 두 단계 또는 독립적 추정 접근 방식이 동일한 시점 간 및 시간 간격 간 관계를 함께 모델링하지 못하는 한계를 극복하기 위해.
• 복잡한 그래프 구조에 대해 강건하며, 유한한 진입 차수나 트리 너비를 가정하지 않는 즉시 사용 가능한 최적화 기반 프레임워크를 제공하기 위해.
• 금융 및 시스템 생물학 분야의 실세계 데이터셋에서 방법을 검증하여 최신 기술 수준의 방법과 비교했을 때 실용성과 경쟁력 있는 성능을 입증하기 위해.

제안 방법

• Zheng 등(2018)의 유도된 매끄러운 등식 제약 조건을 사용하여 비순환성을 대수적으로 표현하는 제약 조건을 포함한 정규화된 점수 최적화 문제로 DBN의 구조 학습을 공식화한다.
• 표준 두 번째 차수 최적화 알고리즘(L-BFGS 등)을 사용하여 제약 최적화 문제를 해결함으로써 효율적이고 확장 가능한 학습을 가능하게 한다.
• 가중치 행렬을 두 성분으로 분리한다: W는 동시성(intra-slice) 의존성, A는 시간 지연(inter-slice) 의존성으로, 양자 모두 함께 추정된다.
• W와 A 행렬을 요소별 합산을 통해 최종 가중치 인접 행렬을 생성함으로써 전체 동적 의존성 구조를 표현한다.
• 각 데이터셋에서 초모수를 튜닝하기 위해 교차 검증을 적용하여 실세계 데이터에서 최적의 성능을 확보한다.
• L1 정규화를 포함한 미분 가능한 점수 함수를 사용하여 고차원 설정에서 희박성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 두 단계 또는 독립적 추정 접근 방식보다 통합된 점수 기반 최적화 프레임워크가 동적 베이지안 네트워크에서 동시성 및 시간 지연 의존성을 더 효과적으로 함께 학습할 수 있는가?
• RQ2 기존 방법이 차원의 저주로 인해 실패하는 경우, 특히 고차원 설정(d > n)에서 제안된 방법의 성능은 어떠한가?
• RQ3 이산적 또는 조합적 공식화 방식에 비해 매끄러운 대수적 비순환성 제약 조건이 최적화 안정성과 확장성에 얼마나 기여하는가?
• RQ4 금융 및 분자 생물학 분야의 실세계 시간 시리즈 데이터에서 DYNOTEARS는 최신 기술 수준의 방법과 비교해 정확성과 강건성 면에서 어떻게 성과를 내는가?
• RQ5 DREAM4 및 주식 수익률 데이터와 같은 벤치마크 데이터셋에서 알려진 생물학적 및 금융 의존성 구조를 신뢰성 있게 복원할 수 있는가?

주요 결과

• DREAM4 유전자 조절 네트워크 데이터셋에서 DYNOTEARS는 평균 AUROC 0.664와 AUPR 0.173를 기록하여 총 18개의 방법 중 각각 8위와 4위를 차지했다.
• DREAM4 데이터셋에서 DYNOTEARS는 G1DBN, ScanBMA, VBSSM 등의 대부분의 베이스라인보다 AUPR에서 뛰어난 성능을 보였으며, 진정한 조절 상호작용을 식별하는 데 뛰어난 능력을 입증했다.
• 금융 데이터셋(d=97)에서 DYNOTEARS는 그래프 복잡성의 유한한 범위를 가정하지 않더라도 상호 및 동일 시점 간 의존성을 성공적으로 학습하여 강건성과 확장성을 입증했다.
• 시뮬레이션 및 실세계 데이터 모두에서 경쟁적인 성능를 보였으며, 특히 d > n 인 고차원 설정에서 뛰어난 성능를 발휘했다.
• 매끄러운 비순환성 제약 조건의 사용은 이산적 또는 리프레젠테이션 기반 대안 대비 안정적인 최적화와 더 나은 수렴을 가능케 했다.
• 동시성 및 시간 지연 관계의 공동 추정은 별도로 다루는 방법보다 더 정확하고 해석 가능한 네트워크 구조를 도출했다.