[논문 리뷰] Causality-based Feature Selection: Methods and Evaluations

Kui Yu, Xianjie Guo외 5명|arXiv (Cornell University)|2019. 11. 17.

Bayesian Modeling and Causal Inference참고 문헌 71인용 수 28

한 줄 요약

이 논문은 인과 기반 특성 선택 방법에 대한 종합적인 리뷰를 제시하며, 최신 알고리즘을 구현한 새로운 오픈소스 패키지인 CausalFS를 소개한다. 연구는 인과 인지 특성 선택이 분포 이동과 노이즈가 있는 데이터 처리에서 특히 모델의 해석 가능성과 강건성을 향상시킨다는 것을 입증한다. 실제 비균형 데이터셋에서 PC 기반 방법이 마르코프 경계 방법보다 우수한 성능을 보였다.

ABSTRACT

Feature selection is a crucial preprocessing step in data analytics and machine learning. Classical feature selection algorithms select features based on the correlations between predictive features and the class variable and do not attempt to capture causal relationships between them. It has been shown that the knowledge about the causal relationships between features and the class variable has potential benefits for building interpretable and robust prediction models, since causal relationships imply the underlying mechanism of a system. Consequently, causality-based feature selection has gradually attracted greater attentions and many algorithms have been proposed. In this paper, we present a comprehensive review of recent advances in causality-based feature selection. To facilitate the development of new algorithms in the research area and make it easy for the comparisons between new methods and existing ones, we develop the first open-source package, called CausalFS, which consists of most of the representative causality-based feature selection algorithms (available at https://github.com/kuiy/CausalFS). Using CausalFS, we conduct extensive experiments to compare the representative algorithms with both synthetic and real-world data sets. Finally, we discuss some challenging problems to be tackled in future causality-based feature selection research.

연구 동기 및 목표

• 단지 상관관계에 의존하는 전통적 특성 선택 방법의 한계를 해결하기 위해, 이는 비해석 가능하거나 비강건한 특성으로 이어질 수 있다.
• 인과 기반 특성 선택 알고리즘의 구현과 비교를 표준화하기 위해 통합된 오픈소스 프레임워크인 CausalFS를 개발하기 위해.
• 합성 및 실제 데이터셋에서 인과 기반 방법의 성능을 평가하기 위해, 특히 클래스 비균형과 데이터 노이즈와 같은 도전적인 조건에서 수행한다.
• 스트리밍 데이터, 약한 감독, 분포 이동과 같은 핵심 열린 문제를 특정하고 해결하기 위해.

제안 방법

• 저자는 제약 기반 및 점수 기반 접근 방식을 사용하여 PC, HITON-PC, MMPC, GetPC, MBtoPC, SLL, S2TMB, IPCMB 등의 다양한 인과 기반 특성 선택 알고리즘을 구현하고 평가한다.
• 프레임워크는 베이지안 네트워크와 마르코프 경계를 활용하여 목표 변수의 직접 원인을 식별함으로써 순수한 상관관계가 아닌 인과적 관련성을 보장한다.
• 정밀도 향상과 임의의 양성 결과 감소를 위해 백워드 전략과 대칭성 검사를 적용한다.
• CausalFS 패키지는 PC 및 MB 학습을 모두 지원하여 고차원 데이터에서 효율적이고 확장 가능한 특성 선택을 가능하게 한다.
• 정밀도 평가를 위해 합성 데이터에서 실험을 수행하고, 비균형 데이터셋(예: dorothea, bankrupty, infant)을 사용하여 클래스 비균형 조건에서 AUC 성능을 평가한다.
• 제약 기반(예: HITON-PC)과 점수 기반(예: IPCMB) 방법을 비교하여 정확도, 속도, 데이터 효율성 간의 상충 관계를 강조한다.

실험 결과

연구 질문

• RQ1 알려진 인과 구조를 가진 합성 데이터에서, 인과 기반 특성 선택 방법은 전통적인 상관관계 기반 방법에 비해 정밀도와 강건성 측면에서 어떻게 비교되는가?
• RQ2 실제 비균형 데이터셋에서 인과 기반 방법의 성능은 어떠한가? 기존 특성 선택 방법과 AUC 및 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 인과 기반 방법은 결측치나 노이즈가 있는 저품질 데이터를 효과적으로 처리할 수 있는가? 이러한 시나리오에서 필요한 수정 사항은 무엇인가?
• RQ4 온라인 또는 스트리밍 데이터 환경은 인과 기반 특성 선택 알고리즘의 확장성과 정확도에 어떤 영향을 미치는가?
• RQ5 인과 기반 방법은 분포 이동 조건에서 성능 저하를 얼마나 효과적으로 완화할 수 있으며, 원인과 결과를 신뢰성 있게 구분할 수 있는가?

주요 결과

• 백워드 전략과 대칭성 검사는 합성 데이터 실험에서 인과 기반 특성 선택의 정밀도를 크게 향상시켜 임의의 양성 결과를 감소시켰다.
• 실제 비균형 데이터셋에서 클래스 변수의 PC(Markov blanket)를 선택할 경우, 전체 MB를 선택하는 것보다 분류 성능이 뛰어나고 유의미하게 빠른 성능을 보였다.
• 점수 기반 PC 및 MB 학습 알고리즘은 고차원 또는 소표본 설정에서 제약 기반 방법에 비해 뛰어난 데이터 효율성을 보였다.
• 평가된 방법 중 IPCMB와 MBtoPC가 비균형 데이터셋에서 가장 높은 AUC 점수를 기록했으며(예: dorothea에서 0.78/0.74, bankrupty에서 0.77/0.78), 기준 방법을 능가했다.
• SLL과 S2TMB는 대부분의 실제 데이터셋에서 AUC가 0.50에 머물러 있어, 복잡하거나 비균형 데이터 처리에서의 한계를 보여주었다.
• 강력한 이론적 이점에도 불구하고 기존 인과 기반 방법은 결측치와 노이즈와 같은 실제 데이터 품질 문제를 해결하는 데 어려움을 겪어, 중요한 열린 과제로 남아 있다.