[논문 리뷰] A Unified View of Causal and Non-causal Feature Selection

Kui Yu, Lin Liu외 1명|arXiv (Cornell University)|2018. 02. 16.

Bayesian Modeling and Causal Inference인용 수 13

한 줄 요약

이 논문은 인과적 및 비인과적 특성 선택 방법이 궁극적으로 동일한 목표를 가진다는 통합 이론적 프레임워크를 제시한다: 클래스 변수의 마르코프 블랭킷을 식별하는 것이다. 베이지안 네트워크와 정보 이론을 통해 문제를 모델링함으로써, 저자들은 두 접근 방식이 동일한 최적의 특성 집합을 찾는 데 목적이 있으며, 검색 전략에서의 구조적 가정과 근사 수준의 차이가 발생함을 보여준다. 이는 정량적 오차 한계와 해석 가능성 통찰을 이끌어낸다.

ABSTRACT

In this paper, we aim to develop a unified view of causal and non-causal feature selection methods. The unified view will fill in the gap in the research of the relation between the two types of methods. Based on the Bayesian network framework and information theory, we first show that causal and non-causal feature selection methods share the same objective. That is to find the Markov blanket of a class attribute, the theoretically optimal feature set for classification. We then examine the assumptions made by causal and non-causal feature selection methods when searching for the optimal feature set, and unify the assumptions by mapping them to the restrictions on the structure of the Bayesian network model of the studied problem. We further analyze in detail how the structural assumptions lead to the different levels of approximations employed by the methods in their search, which then result in the approximations in the feature sets found by the methods with respect to the optimal feature set. With the unified view, we are able to interpret the output of non-causal methods from a causal perspective and derive the error bounds of both types of methods. Finally, we present practical understanding of the relation between causal and non-causal methods using extensive experiments with synthetic data and various types of real-word data.

연구 동기 및 목표

• 인과적 및 비인과적 특성 선택 방법 간의 근본적인 이해 격차를 해결하기 위해.
• 두 방법 모두 분류에 있어 이론적으로 최적의 특성 집합인 클래스 속성의 마르코프 블랭킷을 식별하는 데 목적이 있음을 확립하기 위해.
• 인과적 및 비인과적 방법의 배경 가정을 베이지안 네트워크 모델의 구조적 제약으로 매핑하여 통합하기 위해.
• 구조적 가정이 특성 선택에서의 근사 수준에 어떻게 영향을 주는지 분석하여 최적의 특성 집합에서의 이격 정도를 다르게 만들며, 이를 통해 다양한 정도의 편차를 초래함을 밝히기 위해.
• 인과적 및 비인과적 방법의 오차 한계를 유도하고, 합성 및 실세계 데이터를 통한 광범위한 실험을 통해 실용적 통찰을 제공하기 위해.

제안 방법

• 특성과 클래스 변수의 연합 분포를 모델링하기 위해 베이지안 네트워크 프레임워크를 사용한 이론적 분석.
• 마르코프 블랭킷 탐지 맥락에서 특성의 관련성과 조건부 인덴펜던스를 정량화하기 위해 정보 이론, 특히 상호정보량을 적용.
• 인과적 및 비인과적 방법의 검색 전략을 베이지안 네트워크의 특정 구조적 가정(예: 조건부 독립성 가정, 충실성, 마르코프 성질)으로 매핑.
• 근사된 특성 집합과 진정한 마르코프 블랭킷 간의 격리 정도에 기반해 특성 선택 방법의 오차 한계를 유도.
• 분류 정확도, 카파 통계량, 선택된 특성 수, 실행 시간을 기준으로 다수의 데이터셋에서 8개의 특성 선택 알고리즘(예: IAMB, HITON-MB, mRMR, JMI)을 체계적으로 비교.
• 이론적 가정을 검증하기 위해 합성 데이터를 사용하고, 실세계 데이터셋(예: hiva, ohsumed, thrombin, infant)을 활용해 실용적 성능 및 강인성을 입증.

실험 결과

연구 질문

• RQ1 비인과적 특성 선택의 목적(강력하게 관련된 특성 찾기)과 인과적 특성 선택의 목적(마르코프 블랭킷 찾기) 사이의 근본적인 관계는 무엇인가? 논문은 둘 다 동일한 최적의 특성 집합을 식별한다는 것을 보여준다.
• RQ2 인과적 및 비인과적 방법의 검색 전략은 어떻게 다른가? 이러한 차이의 배경이 되는 가정은 무엇인가? 차이는 베이지안 네트워크 모델의 구조적 가정(예: 충실성, 마르코프 성질)에서 비롯된다.
• RQ3 구조적 가정이 진정한 마르코프 블랭킷에 대한 선택된 특성 집합의 근사 품질에 어떤 영향을 미치는가? 가정은 다양한 수준의 근사로 이어지며, 오차 한계를 통해 정량화된다.
• RQ4 비인과적 특성 선택 방법을 인과적 관점에서 해석할 수 있으며, 반대로도 가능한가? 네, 통합 프레임워크를 통해 비인과적 출력의 인과적 해석이 가능하다.
• RQ5 두 유형의 방법에 대한 이론적 및 실증적 오차 한계는 무엇인가? 논문은 합성 및 실세계 데이터를 사용해 이러한 한계를 유도하고 검증한다.

주요 결과

• 인과적 및 비인과적 특성 선택 방법은 동일한 목표를 공유한다: 클래스 변수의 마르코프 블랭킷을 식별하는 것으로, 이는 분류에 있어 이론적으로 최적의 특성 집합이다.
• 마르코프 블랭킷은 클래스 변수의 부모, 자식, 배우자로 구성되며, 모든 방법이 이 집합을 복원하려는 목표를 가지고 있으나, 근사 정도는 다를 수 있다.
• 실험 결과, HITON-MB와 IAMB가 가장 높은 예측 정확도를 보였다(예: NBC를 사용한 thrombin 데이터셋에서 0.7576 ± 0.05), 반면 mRMR와 JMI는 Kappa 통계량에서 뛰어난 성능을 보였다(예: KNN를 사용한 thrombin 데이터셋에서 0.5935 ± 0.12).
• HITON-MB와 IAMB는 더 적은 특성을 선택했다(예: hiva 데이터셋에서 각각 7개, 8개의 특성), 반면 mRMR는 30/30개의 특성을 선택하여 더 뛰어난 단순성(파라미터 수가 적은)을 보였다.
• 실행 시간은 크게 달랐다: MMMB와 HITON-MB는 계산적으로 비용이 많이 들었다(예: thrombin 데이터셋에서 HITON-MB는 23,456초), 반면 mRMR와 JMI는 빠르게 작동했다(예: infant 데이터셋에서 mRMR는 0.1초).
• 통합 프레임워크를 통해 오차 한계를 추정할 수 있었으며, 근사 품질은 구조적 가정의 강도에 따라 달라지며, 더 강한 가정일수록 진정한 마르코프 블랭킷에 더 가까운 근사가 가능함을 보여주었다.