[논문 리뷰] Latent Variable Discovery Using Dependency Patterns

Xuhui Zhang, Kevin B. Korb외 2명|arXiv (Cornell University)|2016. 07. 22.

Bayesian Modeling and Causal Inference참고 문헌 3인용 수 4

한 줄 요약

이 논문은 베이지안 네트워크에서 잠재 변수의 존재를 나타내는 의존성 패턴—'트리거'로 불리는 것—을 체계적으로 식별하는 방법을 제안한다. 완전히 관측된 DAG에서의 d-분리 구조를 철저히 분석하고, 단일 원인을 가진 잠재 변수 모델에서 생성된 것들과 비교함으로써, 관측된 변수만으로는 설명할 수 없는 의존성 패턴을 식별함으로써, 인과 추론에서 더 엄밀한 잠재 변수 탐지가 가능해진다.

ABSTRACT

The causal discovery of Bayesian networks is an active and important research area, and it is based upon searching the space of causal models for those which can best explain a pattern of probabilistic dependencies shown in the data. However, some of those dependencies are generated by causal structures involving variables which have not been measured, i.e., latent variables. Some such patterns of dependency "reveal" themselves, in that no model based solely upon the observed variables can explain them as well as a model using a latent variable. That is what latent variable discovery is based upon. Here we did a search for finding them systematically, so that they may be applied in latent variable discovery in a more rigorous fashion.

연구 동기 및 목표

• 관측된 변수들 사이의 의존성 패턴을 식별하여, 이는 관측된 변수만으로 구성된 모델로는 설명할 수 없고, 잠재 변수 모델에서만 설명 가능한 것임을 확인한다.
• 인과 추론에서 측정되지 않은 혼란 변수를 탐지하는 데 도전하는 문제를 해결하기 위해, 잠재 변수의 존재를 시사하는 '트리거'를 체계적으로 정의한다.
• 잠재 변수를 포함한 모델을 향해 인과 추론 알고리즘을 안내하기 위한 체계적인 데이터 전처리 방법을 제공한다.
• 잠재 변수 설명이 본질적으로 유리한 구조에 집중함으로써, 잠재 변수 탐지의 정확성과 효율성을 향상시킨다.

제안 방법

• 관측된 변수가 3개, 4개, 5개인 경우에 대해 고립된 노드를 제외한 모든 가능한 완전히 관측된 DAG를 나열하였다.
• 각 DAG에 대해 모든 d-분리 증거 집합을 계산하고, d-분리 기준을 사용하여 해당하는 의존성 행렬을 유도하였다.
• 잠재 변수가 두 개 이상의 관측된 변수들의 공통 원인이 되는 모든 가능한 단일 원인 잠재 변수 모델을 생성하였다.
• 모든 가능한 증거 집합 조건 하에서 각 잠재 변수 모델에서 관측된 변수들 사이의 의존성 구조를 계산하였다.
• d-분리 기준 하에서 어떤 완전히 관측된 DAG로도 매칭되지 않는, 잠재 변수 모델에서 유도된 의존성 집합을 트리거로 식별하였다.
• 수득된 트리거를 활용하여 수정된 PC 알고리즘(triigger-PC)을 구동함으로써, 시뮬레이션 데이터에서 잠재 구조의 탐지 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 관측된 변수들 사이의 어떤 의존성 패턴이 어떤 완전히 관측된 베이지안 네트워크로도 설명될 수 없으며, 이는 잠재 변수의 존재를 시사하는가?
• RQ2 이러한 의존성 패턴을 체계적으로 '트리거'로 식별할 수 있는 방법은 무엇인가?
• RQ3 이러한 트리거는 잠재 혼란 변수 탐지 성능을 향상시키는 데 사용될 수 있는가?
• RQ4 관측된 변수의 수가 증가함에 따라 트리거의 수와 구조는 어떻게 변화하는가?
• RQ5 수정된 PC 알고리즘에서 트리거를 사용할 경우, 잠재 변수 탐지에 대한 실증적 효과는 어떠한가?

주요 결과

• 세 개의 관측된 변수에 대해서는 트리거가 발견되지 않았다—잠재 변수 모델로 설명 가능한 모든 의존성 패턴이 완전히 관측된 DAG로도 설명 가능했다.
• 네 개의 관측된 변수에 대해서는 두 가지의 고유한 트리거가 식별되었으며, 각각은 어떤 완전히 관측된 모델로도 복제할 수 없는 고유한 의존성 구조에 대응했다.
• 다섯 개의 관측된 변수에 대해서는 57개의 고유한 트리거가 발견되어, 잠재 혼란을 시사하는 복잡한 의존성 패턴의 급격한 증가를 보였다.
• 다섯 개의 관측된 변수를 가진 시뮬레이션 데이터에서, 트리거-PC 알고리즘이 최대 48%의 참 양성 탐지율을 기록했다 (10,000개의 표본과 중간 강도의 아크를 가진 변수 3개 상태일 때 57개의 경우 중 48개에서 성공).
• 특히 중간 및 높은 아크 강도 조건에서 표준 PC 알고리즘보다 트리거-PC 알고리즘이 유의미하게 뛰어난 성능을 보였으며, 일부 설정에서는 거짓 양성 탐지가 전혀 없었다.
• 이 방법은 다양한 표본 크기와 변수의 기수(기수)에 걸쳐 뛰어난 강건성을 유지하였으며, 충분한 데이터가 확보된 경우 낮은 아크 강도에서도 일관된 탐지 성능을 보였다.