[논문 리뷰] Learning Measurement Models for Unobserved Variables

Ricardo Silva, Richard Scheines외 2명|arXiv (Cornell University)|2012. 10. 19.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 24

한 줄 요약

이 논문은 관측된 변수들 간의 공통 원인(잠재 공통 원인)을 공유하는 변수의 분할을 식별하여, 관측되지 않은(잠재적) 변수에 대한 측정 모델을 발견하는 새로운 알고리즘을 제안한다. 표준 인과적 베이즈 네트워크 가정 하에서 점점 더 정확해지며, 잠재 변수의 수에 대한 사전 지식이 필요로 하지 않으며, 잠재 변수 간의 선형성을 가정하지 않아 표준 검색 알고리즘을 사용하여 관측 데이터로부터 잠재 인과적 구조를 신뢰성 있게 추론할 수 있다.

ABSTRACT

Department of Philosophy technical report

연구 동기 및 목표

• 측정가능한 원인이 없는 경우 관측 데이터로부터 관측되지 않은(잠재적) 변수와 그들의 인과적 관계를 식별하는 데 도전하는 것.
• 단일 잠재 공통 원인을 공유하는 관측 변수의 분할을 발견하는 방법을 개발하여, 잠재 구조에 표준 인과적 베이즈 네트워크 검색 알고리즘을 적용할 수 있도록 하는 것.
• 잠재 변수의 수나 그들 간의 기능적 형태에 대한 가정 없이 원칙적이고 점점 더 정확한 알고리즘을 제공하는 것.
• 비정규성 및 비선형 모델을 포함한 다양한 조건에서 시뮬레이션된 데이터에 대해 알고리즘의 성능을 평가하는 것.

제안 방법

• 조건부 독립성과 공분산 구조를 분석하여, 단일 잠재 공통 원인을 공유하는 관측 변수의 상호배타적 부분집합을 식별한다.
• 혼란 변수나 불순한 관측 변수를 제거하기 위해 정제 단계를 적용하여, 잔류하는 각 관측 변수가 오직 하나의 잠재 부모만 가지도록 보장한다.
• 알고리즘은 마르코프 성질과 충실성 가정에 의존하며, 관측 변수가 연속적이며 2차 모멘트를 가지며, 잠재 부모와 선형적으로 관련된 후 가감 노이즈가 존재한다고 가정한다.
• 모델 적합도 평가 및 잠재 변수 그래프의 유효한 정제를 식별하기 위해 통계적 검정(예: 위샤르트 검정 및 볼렌의 분포 자유 검정)을 사용한다.
• 알고리즘은 관측 변수의 공분산 행렬을 기반으로 하며, 테트라드 관계에서 유도된 제약 조건을 활용하여 잠재 구조를 추론한다.
• 잠재 변수 간의 선형성을 가정하지 않아 기존 방법보다 더 넓은 범주에 해당하는 모델에 적용 가능하다.

실험 결과

연구 질문

• RQ1 잠재 변수의 수에 대한 사전 지식 없이, 단일 잠재 공통 원인을 공유하는 관측 변수의 분할을 자동으로 식별할 수 있는가?
• RQ2 표준 인과적 베이즈 네트워크 검색 알고리즘이 잠재 변수 구조를 올바르게 추론하기 위해 어떤 조건을 충족해야 하는가?
• RQ3 잠재 변수 간의 알려지지 않은 기능 형태에 대해 점점 더 정확하고 강건한 방법을 개발할 수 있는가?
• RQ4 비정규성 및 비선형 모델을 포함한 다양한 데이터 조건에서 알고리즘이 진짜 잠재 구조를 얼마나 잘 복원하는가?

주요 결과

• 알고리즘은 높은 정확도로 정제된 측정 모델을 성공적으로 식별하여, 5000개의 표본을 가진 선형 모델에서 누락된 잠재 변수 탐지 및 잘못된 지표 식별 오차가 거의 0에 수렴한다.
• 비선형 모델에서는 50,000개의 표본을 사용하여 불순성 오차율이 0.03 ± 0.07, 누락 지표 오차율이 0.10 ± 0.13을 기록하여 비정규성에 대해 강건함을 입증했다.
• 위샤르트 검정은 비정규 데이터에서도 합리적으로 잘 작동했으며, 볼렌의 분포 자유 검정이 성능을 크게 향상시키지 못해 위샤르트 검정만으로도 실용적 사용에 충분하다는 것을 시사했다.
• 요인 분석 방법, 특히 기본 기준을 사용할 경우 진짜 잠재 변수 수를 과소평가하는 경향이 있었고, 반복적인 카이제곱 검정과 히우리스틱 클러스터링을 조합한 방법은 선형 설정에서 거의 0 오차를 달성했다.
• 가정 조건이 충족될 경우 기존 요인 분석보다 잠재 구조 복원에서 알고리즘이 더 우수한 성능을 보였다. 특히 불순성 또는 누락 지표가 있는 경우에 유의미한 개선이 있었다.
• 이 방법은 잠재 변수 간의 선형성을 가정하지 않으면서도 점점 더 정확한 성능을 보이며, 실세계 인과 발견 문제에 광범위하게 적용 가능하다는 점에서 기존에 없던 첫 번째 방법이다.