[논문 리뷰] Forward-Backward Selection with Early Dropping

Giorgos Borboudakis, Ioannis Tsamardinos|arXiv (Cornell University)|2017. 05. 30.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 25

한 줄 요약

이 논문은 신뢰성 가정 하에 결과 변수에 조건부 독립인 변수들을 일시적으로 제거함으로써 특성 선택을 가속화하는 히우리즘인 Forward-Backward Selection with Early Dropping (FBED)을 제안한다. 이 방법은 최대 두 개의 지수 차수 빠른 런타임을 달성하고, 변수 수를 줄이며 예측 정확도를 유지하면서도 마르코프 블랭킷을 정확히 식별한다.

ABSTRACT

Forward-backward selection is one of the most basic and commonly-used feature selection algorithms available. It is also general and conceptually applicable to many different types of data. In this paper, we propose a heuristic that significantly improves its running time, while preserving predictive accuracy. The idea is to temporarily discard the variables that are conditionally independent with the outcome given the selected variable set. Depending on how those variables are reconsidered and reintroduced, this heuristic gives rise to a family of algorithms with increasingly stronger theoretical guarantees. In distributions that can be faithfully represented by Bayesian networks or maximal ancestral graphs, members of this algorithmic family are able to correctly identify the Markov blanket in the sample limit. In experiments we show that the proposed heuristic increases computational efficiency by about two orders of magnitude in high-dimensional problems, while selecting fewer variables and retaining predictive performance. Furthermore, we show that the proposed algorithm and feature selection with LASSO perform similarly when restricted to select the same number of variables, making the proposed algorithm an attractive alternative for problems where no (efficient) algorithm for LASSO exists.

연구 동기 및 목표

• 고차원 특성 선택을 위한 프ор워드-백워드 선택의 높은 계산 비용과 다중 검정 문제를 해결하기 위해.
• 예측 성능나 관련 변수 식별 정확도를 희생시키지 않고도 효율성을 향상시키기 위해.
• 베이지안 네트워크 및 최대 원시 그래프 가정 하에 이론적 보장을 유지하면서도 더 빠른 수렴을 가능하게 하는 히우리즘을 개발하기 위해.
• LASSO가 계산적으로 비가능한 환경에서 LASSO의 실용적인 대안을 제공하기 위해.

제안 방법

• 알고리즘은 프로워드 선택을 수행하지만, 현재 선택된 집합을 조건으로 결과 변수와 조건부 독립인 변수들을 일시적으로 제거한다.
• 프로워드 선택 이후, 선택된 변수들에 대해 백워드 제거를 적용하며, 최대 K회의 추가적인 프로워드-백워드 순환을 수행한다.
• 이 방법은 K로 매개변수화되며, K=0, 1, 또는 ∞는 마르코프 블랭킷 복구에 대한 서로 다른 이론적 보장을 의미한다.
• 조건부 독립성은 통계적 검정을 통해 테스트하며, 히우리즘은 베이지안 네트워크와 최대 원시 그래프의 성질을 활용한다.
• 알고리즘은 MXM R 패키지에 구현되어 있으며, 혼합 데이터 유형, 비선형 관계, 강건한 검정을 지원한다.
• 이 접근법은 차원 수와 희박성의 다양성을 가진 12개의 데이터셋에서 평가되었으며, 런타임, 정확도, 변수 선택 품질을 비교하였다.

실험 결과

연구 질문

• RQ1 조건부 독립 변수들을 조기에 제거하는 것이 예측 성능을 저하시키지 않고 프로워드-백워드 선택의 런타임을 크게 줄일 수 있는가?
• RQ2 제안된 히우리즘이 베이지안 네트워크나 최대 원시 그래프에 대한 신뢰성 가정 하에 마르코프 블랭킷 식별에 대한 이론적 보장을 유지하는가?
• RQ3 LASSO와 동일한 수의 특성을 선택하도록 제약을 두었을 때, FBED는 변수 선택 품질과 예측 정확도에서 LASSO와 어떻게 비교되는가?
• RQ4 추가적인 프로워드-백워드 순환 수(K)가 계산 효율성과 선택 정확도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 고차원 환경에서, FBED는 표준 프로워드-백워드 선택보다 속도와 변수 선택의 희박성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• FBED는 고차원 데이터셋에서 계산 시간을 최대 두 개의 지수 차수 빠르게 줄였으며, gisette 데이터셋에서 FBED∞는 FBS의 6,759.6초 대비 4,191.7초를 기록했다.
• FBED∞는 gisette 데이터셋에서 마르코프 블랭킷 복구 비율이 85.2%로 가장 높았으며, FBS(81.7%)와 FBED0(43.7%)를 모두 앞섰다.
• FBED1과 FBED∞는 LASSO-FS와 유사한 예측 성능을 보였으며, 여러 데이터셋에서 AUC 차이의 중앙값이 0.05 이내였다.
• FBED0는 FBS보다 더 적은 변수를 선택했으며(예: musk에서 23.1 대비 26.1), 정확도를 유지하거나 향상시켰다.
• 혼합 연속형 및 범주형 예측 변수, 시간 경과 데이터, 사건 발생 시간 결과를 포함한 다양한 데이터 유형에서 높은 정확도를 유지했다.
• FBED∞는 정확도와 효율성의 최적 균형을 달성했으며, dorothea 데이터셋에서 중앙값 런타임이 22.3초였고, LASSO-FS는 1000개의 λ 값으로 89.0초였다.