[논문 리뷰] Learning Quadratic Variance Function (QVF) DAG models via OverDispersion Scoring (ODS)

Gunwoong Park, Garvesh Raskutti|arXiv (Cornell University)|2017. 04. 28.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 12

한 줄 요약

이 논문은 평균의 제곱함수로 표현되는 분산을 가지는 이차분산함수(QVF) DAG 모델을 제안하며, 이는 인과적 구조 학습에서 식별 가능성(identifiability)을 보장한다. OverDispersion Scoring(ODS) 알고리즘을 제안하여 도우미 그래프의 흐트러짐과 과분산을 활용함으로써 고차원 설정($p > n$)에서도 대규모 DAG를 일관적으로 학습할 수 있으며, 이는 이론적 보장과 최신 기법들에 비해 뛰어난 경험적 성능을 보인다.

ABSTRACT

Learning DAG or Bayesian network models is an important problem in multi-variate causal inference. However, a number of challenges arises in learning large-scale DAG models including model identifiability and computational complexity since the space of directed graphs is huge. In this paper, we address these issues in a number of steps for a broad class of DAG models where the noise or variance is signal-dependent. Firstly we introduce a new class of identifiable DAG models, where each node has a distribution where the variance is a quadratic function of the mean (QVF DAG models). Our QVF DAG models include many interesting classes of distributions such as Poisson, Binomial, Geometric, Exponential, Gamma and many other distributions in which the noise variance depends on the mean. We prove that this class of QVF DAG models is identifiable, and introduce a new algorithm, the OverDispersion Scoring (ODS) algorithm, for learning large-scale QVF DAG models. Our algorithm is based on firstly learning the moralized or undirected graphical model representation of the DAG to reduce the DAG search-space, and then exploiting the quadratic variance property to learn the causal ordering. We show through theoretical results and simulations that our algorithm is statistically consistent in the high-dimensional p>n setting provided that the degree of the moralized graph is bounded and performs well compared to state-of-the-art DAG-learning algorithms.

연구 동기 및 목표

• 신호에 따라 변동성이 변화하는 새로운 유형의 모델을 도입함으로써 대규모 DAG 구조 학습에서 식별 가능성과 계산 복잡도 문제를 해결하고자 한다.
• 과분산과 그래프의 흐트러짐을 활용하여 DAG 탐색 공간을 줄이는 확장 가능한 알고리즘을 개발하고자 한다.
• 유계 도우미 그래프 차수 조건 하에 고차원 영역($p > n$)에서 DAG 학습의 통계적 일관성 보장을 이론적으로 제공하고자 한다.
• 낮은 차원과 고차원에서의 시뮬레이션 데이터를 대상으로 ODS 알고리즘이 최신 기법들에 비해 뛰어난 경험적 성능을 보임을 입증하고자 한다.

제안 방법

• 각 노드의 조건부 분포에서 분산이 평균의 이차함수로 표현되는 QVF DAG 모델을 제안하며, 이는 포isson, 이항, 감마, 지수 분포족을 포함한다.
• 먼저 도우미 무방향 그래프를 학습하여 DAG 탐색 공간을 줄이는 OverDispersion Scoring(ODS) 알고리즘을 도입한다.
• 분산이 평균에 의존하는 과분산 특성을 핵심 비대칭성으로 활용하여 원인적 순서를 식별함으로써, 독립적 동일분포(i.i.d.) 잡음 가정 없이도 식별 가능성을 확보한다.
• 도우미 그래프 상에서 $oldsymbol{ heta}$-정규화된 우도 추정과 $oldsymbol{ heta}$-의존성 펜alties를 적용하여 희소 회귀를 통해 부모 집합을 복원한다.
• 중간값 정리와 농도 부등식을 활용하여 추정 오차를 근사하고, 부모 집합 복원의 부호 일관성(sign consistency)을 보장한다.
• 이론적 분석과 시뮬레이션 연구를 통합하여 고차원 및 희소 조건 하에서의 일관성과 성능을 검증한다.

실험 결과

연구 질문

• RQ1 평균에 의존하는 분산을 가지는 QVF DAG 모델이 관측 데이터로부터 인과적 구조 학습에 대해 식별 가능성을 제공할 수 있는가?
• RQ2 과분산과 그래프의 흐트러짐을 활용하여 $p > n$ 조건 하에서도 DAG 학습의 통계적 일관성을 달성할 수 있는가?
• RQ3 대규모 그래프에서 ODS 알고리즘이 최신 기법들에 비해 정확도와 확장성 측면에서 어떻게 비교되는가?
• RQ4 ODS 알고리즘이 고차원 설정에서 진정한 DAG를 고확률로 복원하기 위한 이론적 조건은 무엇인가?

주요 결과

• ODS 알고리즘은 도우미 그래프의 차수가 유계일 경우 고차원 설정($p > n$)에서 통계적 일관성을 확보한다.
• 이론적 분석 결과, 표본 크기 $n$ 이 다음 조건을 만족할 경우 ODS 알고리즘은 높은 확률로 진정한 DAG를 복원한다: $n \geq D'\max\{(d\log^2\eta)^{1/(a-2\kappa_2)}, (d\log^3\eta)^{1/(a-\kappa_2)}\}$, 여기서 $D'$, $a \in (2\kappa_2, 1/2)$ 는 상수이다.
• 부모 집합 복원에서 부호 일관성이 확보되며, $P(\widehat{G} = G) \geq 1 - D_1 d p \exp(-D_2 n^{1-2a}) - D_3 \eta^{-1}$ 를 만족한다.
• 시뮬레이션 결과, ODS는 저차원 및 고차원 설정 모두에서 최신 기법들을 능가하는 성능을 보이며, 최대 5000개 노드를 가진 그래프에서도 성능이 뛰어나다.
• 과분산을 활용하여 원인적 순서를 성공적으로 식별함으로써, 잡음 분산이 평균에 의존하는 경우에도 식별 가능성을 확보한다. 이는 이전 기법이 다루지 못한 설정이다.
• 추정 오차와 잔차 항에 대한 이론적 경계를 확보함으로써, 알고리즘이 비부모 변수를 고확률로 제외함을 보장한다.