[논문 리뷰] GroupLiNGAM: Linear non-Gaussian acyclic models for sets of variables

Yoshinobu Kawahara, Kenneth A. Bollen외 2명|arXiv (Cornell University)|2010. 06. 24.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 12

한 줄 요약

이 논문은 비정규성과 비순환성을 갖춘 집합 변수 모델인 GroupLiNGAM을 제안한다. LiNGAM을 확장하여 잠재적인 혼란인자(잠재적 공통 원인)가 있는 체인 그래프를 다룰 수 있도록 하며, 부분집합과 잔차 간의 독립성 검정을 통해 변수 그룹의 순서를 식별한다. 이 방법은 잠재적 혼란인자가 존재하는 복잡한 시스템에서도 인과적 구조 탐색이 가능하게 하며, 실제 데이터에서 도메인 지식과의 일致성에서 기존 방법들을 능가한다.

ABSTRACT

Finding the structure of a graphical model has been received much attention in many fields. Recently, it is reported that the non-Gaussianity of data enables us to identify the structure of a directed acyclic graph without any prior knowledge on the structure. In this paper, we propose a novel non-Gaussianity based algorithm for more general type of models; chain graphs. The algorithm finds an ordering of the disjoint subsets of variables by iteratively evaluating the independence between the variable subset and the residuals when the remaining variables are regressed on those. However, its computational cost grows exponentially according to the number of variables. Therefore, we further discuss an efficient approximate approach for applying the algorithm to large sized graphs. We illustrate the algorithm with artificial and real-world datasets.

연구 동기 및 목표

• 잠재적 혼란인자를 다루지 못하는 LiNGAM의 한계를 보완하기 위해 LiNGAM을 체인 그래프로 일반화하는 것.
• 사전 지식 없이 비정규성을 활용하여 변수 그룹 순서를 식별하는 구조 학습 알고리즘을 개발하는 것.
• 근사 탐색 전략을 도입하여 대규모 그래프에 대해 확장 가능한 솔루션을 제공하는 것.
• 인공 및 실제 데이터셋에서의 실증적 검증을 통해 도메인 지식과의 일치도 향상 여부를 평가하는 것.

제안 방법

• 체인 그래프 내 이산 변수 부분집합에 대해 선형 비정규 비순환 모델인 GroupLiNGAM 모델을 제안한다.
• 외부 영향력이 블록 간 독립적이며 비정규적인 블록 구조 오차 모델을 사용한다.
• 다른 변수들을 회귀한 잔차와 부분집합 간의 독립성 검정을 통해 외생 그룹을 반복적으로 식별하는 알고리즘을 적용한다.
• 접근 행렬 B와 혼합 행렬 A에 하부 블록 삼각 구조를 적용하여 비순환성을 보장한다.
• 평가하는 부분집합의 수를 제한함으로써 지수적 계산 비용을 줄이기 위한 근사 접근법을 도입한다.
• 그룹 분할 정지 기준을 제어하는 튜닝 파rameter δ를 도입하고, 상호정보량 추정에 k-최근접 이웃 방법을 사용한다.

실험 결과

연구 질문

• RQ1 잠재적 혼란인자가 있는 체인 그래프에서 비정규성을 활용하여 인과적 구조를 식별할 수 있는가?
• RQ2 LiNGAM 프레임워크는 개별 변수가 아닌 변수 집합을 다룰 수 있도록 어떻게 확장할 수 있는가?
• RQ3 실제 데이터에서 기존 알고리즘인 DirectLiNGAM과 ICA-LiNGAM과 비교해 본 결과, 제안된 방법의 성능은 어떠한가?
• RQ4 대규모 그래프에 대해 정확한 알고리즘의 계산 비용을 어떻게 줄일 수 있는가?
• RQ5 잠재적 혼란인자가 존재할 때, 이 방법은 도메인 지식과 일치하는 순서를 도출하는가?

주요 결과

• 실제 데이터셋인 2세대에 걸친 직업 이동성에 대해 GroupLiNGAM은 도메인 지식과 일치하는 인과적 순서를 성공적으로 식별하였으며, DirectLiNGAM과 ICA-LiNGAM을 능가하였다.
• 자식의 소득(x₂)과 형제 수(x₆)를 모두 포함한 경우에도 GroupLiNGAM는 해석 가능한 순서를 도출하였고, 다른 방법들은 일관성 없거나 비현실적인 인과 방향을 도출하였다.
• x₂와 x₆를 생략한 경우, GroupLiNGAM는 일관된 인과적 순서 {1,3} < {4,5}를 도출하였으며, 이는 부친의 교육 수준과 직업이 자식의 결과 이전에 위치함을 반영한다.
• Method는 자식의 교육 수준(x₅)이 자식의 직업(x₄)을 유도한다는 사실을 정확히 식별하였고, 이 방향은 DirectLiNGAM에 의해 무시되었다.
• ICA-LiNGAM는 자식의 교육 수준이 부친의 변수를 유도한다고 잘못 추정하여 잠재적 혼란인자를 제대로 다루지 못한 것으로 나타났다.
• 근사 접근법을 통해 대규모 그래프에의 적용이 가능해졌지만, 정확도는 튜닝 파rameter δ와 탐색 전략에 따라 달라진다.