[논문 리뷰] Causal Feature Selection via Orthogonal Search

Ashkan Soleymani, Anant Raj외 3명|arXiv (Cornell University)|2020. 07. 06.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 순수 관측 데이터에서 반응 변수의 직접적인 인과적 부모를 식별하기 위해 직교 검색과 더블 머신 러닝 원리를 활용한 새로운 인과적 특징 선택 방법을 제안한다. 이 방법은 다항식 시간 계산을 가능하게 하고, 비선형 및 순환 관계를 처리할 수 있으며, 이론적 보장을 제공하여 고차원 설정에서 기존 방법들보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

The problem of inferring the direct causal parents of a response variable among a large set of explanatory variables is of high practical importance in many disciplines. However, established approaches often scale at least exponentially with the number of explanatory variables, are difficult to extend to nonlinear relationships, and are difficult to extend to cyclic data. Inspired by {\em Debiased} machine learning methods, we study a one-vs.-the-rest feature selection approach to discover the direct causal parent of the response. We propose an algorithm that works for purely observational data while also offering theoretical guarantees, including the case of partially nonlinear relationships possibly under the presence of cycles. As it requires only one estimation for each variable, our approach is applicable even to large graphs. We demonstrate significant improvements compared to established approaches.

연구 동기 및 목표

• 순수 관측 데이터만을 사용하여 고차원, 비선형, 잠재적으로 순환적인 시스템에서 반응 변수의 직접 인과적 부모를 식별하는 데 도전하는 것.
• 기존 인과 발견 방법의 한계를 극복하는 것 — 기하급수적 확장, 개입 데이터 의존성, 고차원 설정에서의 낮은 성능.
• 복잡한 구조 방정식 모델에서 특징 선택에 대해 저편향과 높은 통계적 검정력을 유지하는 확장 가능하고 이론적으로 탄탄한 방법 개발.
• 더블 머신 러닝 원리를 한 대 다수의 특징 선택 프레임워크로 확장하여 인과 발견에 적용하는 것.
• 제안된 방법의 일관성과 선택 정확도에 대한 渐近 이론적 보장을 제공하는 것.

제안 방법

• 이 방법은 각 공변량을 잠재적인 직접 원인으로 간주하고, 인과 효과를 직교화된 추정 방정식을 통해 추정하는 한 대 다수의 접근 방식을 사용한다.
• 각 계수 추정의 편향을 줄이기 위해 더블 머신 러닝을 활용하여 선형 구조 방정식 모델에서의 편향을 제거한다.
• 각 변수에 대해 다른 모든 변수가 주어진 조건부 평균을 기계 학습 모델을 사용하여 추정함으로써 혼동 요인을 제어한다.
• 직교화 단계는 계수의 추정량이 고차원 설정에서도 渐近적으로 정규분포를 따르고 근사적으로 편향이 없음을 보장한다.
• 알고리즘은 계산적으로 효율적이며, 각 변수당 한 번의 추정만 필요로 하여 큰 그래프로의 확장 가능성을 확보한다.
• 이론적 보장은 반응 변수가 공변량에 직접적인 영향을 미치지 않는 조건(NFD)과 직접 효과가 선형인 조건(LDC) 하에 유도되며, 비선형 및 순환적 구조가 존재하더라도 성립한다.

실험 결과

연구 질문

• RQ1 더블 머신 러닝 원리를 기반으로 한 한 대 다수의 특징 선택 접근 방식이 순수 관측, 고차원 데이터에서 직접 인과적 부모를 효과적으로 식별할 수 있는가?
• RQ2 비선형 관계와 순환 혼동 구조가 존재하는 상황에서도 제안된 방법이 통계적 일관성과 저편향을 유지하는가?
• RQ3 고차원 설정에서 이론적 보장을 유지하면서 다항식 시간 복잡도를 달성할 수 있는가?
• RQ4 선택 정확도와 편향 측면에서 표준 정규화 기법인 라소와 비교해 볼 때, 고차원 인과적 특징 선택에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 이 방법은 복잡한 비선형 및 순환 의존성을 가진 실제 세계 데이터셋으로까지 일반화될 수 있는가?

주요 결과

• 제안된 방법은 기존의 잘 알려진 접근 방식에 비해 인과적 특징 선택 정확도에서 뚜렷한 향상을 보이며, 특히 고차원 및 비선형 설정에서 두각을 나타낸다.
• 이 방법은 강력한 경험적 성능을 보이며, 1000회의 반복 실행에서 환자 연령 분위수와 혈액 가스 분석 매개변수를 반응 변수인 준중증실 입원의 직접 원인으로 올바르게 식별하였다.
• 준중증실 및 중증실 입원 결과 모두에서 1000회 반복 실행 중 환자 연령 분위수는 100%의 확률로 직접 원인으로 예측되었으며, 이는 높은 안정성과 신뢰성을 시사한다.
• pO2, ctO2, pH 정맥 혈액가스 분석과 같은 특징들은 90% 이상의 실행에서 직접 원인으로 예측되었으며, 임상적 기대와 일치한다.
• 복잡한 의료 데이터셋에서 생물학적으로 타당한 직접 원인을 성공적으로 식별하였으며, 크레아티닌, 락타트 탈수소효소, 전이아미노트랜스퍼라제와 같은 마커들이 높은 예측 빈도를 보였다.
• 특히 표본 수가 제한된 고차원 환경에서 표준 라소 및 비정규화된 회귀 기반 베이스라인에 비해 선택 정확도 향상과 편향 감소 측면에서 뛰어난 성능을 보였다.