[논문 리뷰] A review and recommendations on variable selection methods in regression models for binary data

Souvik Bag, Kapil Gupta외 1명|arXiv (Cornell University)|2022. 01. 16.

Gene expression and cancer classification인용 수 4

한 줄 요약

이 논문은 이元적 변수 선택 방법 16종을 이元적 로지스틱 회귀에서 이元 데이터에 대해 종합적으로 검토하고 실증적으로 비교한다. 방법은 검정 기반, 펜alty 기반, 필터링 기반, 트리 기반으로 분류된다. 상관관계 구조가 다양하고 저차원, 중간차원, 고차원 설정에서 성능을 평가한 결과, SCAD와 MCP는 고차원 희박 모델에서 뛰어난 성능을 보이며, 유전자 발현 데이터에서는 Boruta와 varSelRF가 예측 정확도와 변수 선택 일관성 측면에서 최적임을 확인하였다.

ABSTRACT

The selection of essential variables in logistic regression is vital because of its extensive use in medical studies, finance, economics and related fields. In this paper, we explore four main typologies (test-based, penalty-based, screening-based, and tree-based) of frequentist variable selection methods in logistic regression setup. Primary objective of this work is to give a comprehensive overview of the existing literature for practitioners. Underlying assumptions and theory, along with the specifics of their implementations, are detailed as well. Next, we conduct a thorough simulation study to explore the performances of fifteen different methods in terms of variable selection, estimation of coefficients, prediction accuracy as well as time complexity under various settings. We take low, moderate and high dimensional setups and consider different correlation structures for the covariates. A real-life application, using a high-dimensional gene expression data, is also included in this study to further understand the efficacy and consistency of the methods. Finally, based on our findings in the simulated data and in the real data, we provide recommendations for practitioners on the choice of variable selection methods under various contexts.

연구 동기 및 목표

• 이원 결과를 위한 고전적 빈도주의 변수 선택 방법의 체계적 검토를 제공한다.
• 다양한 차원성과 상관관계 구조를 가진 다양한 시뮬레이션 설정에서 16종의 변수 선택 방법의 성능을 평가한다.
• 각 방법의 추론 정확도(변수 선택, 계수 추정)와 예측 성능(Brier 점수, 예측 정확도)을 평가한다.
• 시뮬레이션 결과와 실제 고차원 유전자 발현 데이터셋을 기반으로 실무자에게 근거 기반 권고를 제시한다.
• 기존 방법의 한계를 식별하고 향후 연구 방향을 제안한다. 그 중에는 그룹 구조와 초고차원 설정이 포함된다.

제안 방법

• 변수 선택 방법을 네 가지 유형으로 분류한다: 검정 기반(SIVS, VSURF), 펜alty 기반(LASSO, SCAD, MCP, ElasticNet), 필터링 기반(SIS, null screen), 트리 기반(Boruta, varSelRF).
• 표본 크기(n), 예측 변수 수(m), 상관관계 구조(상관 없음, 등가상관, 블록상관), 희박성(진정한 예측 변수 수)을 다양하게 조절한 18개의 별도 설정에서 시뮬레이션 연구를 수행한다.
• 표준 성능 지표를 사용한다: 변수 선택 정확도(예: 참 양성률, 거짓 발견률), 계수 추정 편향, 예측 정확도(Brier 점수), 계산 시간.
• 통계 유전학에서 유래한 실제 고차원 유전자 발현 데이터셋을 사용하여 결과를 검증한다. 질병 분류에 중요한 유전자를 식별하는 데 집중한다.
• 계산 비용이 큰 방법(예: SIVS, PIMP)은 병렬 구현을 사용하고, n과 m 값에 따른 시간 복잡도를 평가한다.
• 추론 성능와 예측 성능을 모두 비교하며, 모델의 희박성, 정확도, 계산 가능성 사이의 상충 관계를 강조한다.

실험 결과

연구 질문

• RQ1 저차원, 중간차원, 고차원 설정에서 다양한 변수 선택 방법의 변수 선택 정확도, 계수 추정, 예측 성능은 어떻게 다른가?
• RQ2 예측 변수 간 상관관계 구조가 각 방법의 성능에 미치는 영향은 무엇이며, 특히 고차원 설정에서 어떠한가?
• RQ3 고차원 데이터에서 모델의 희박성, 예측 정확도(Brier 점수), 계산 효율성 사이의 최적 균형을 제공하는 방법은 무엇인가?
• RQ4 실제 고차원 유전자 발현 데이터에서 Boruta와 varSelRF와 같은 트리 기반 방법은 펜alty 기반 및 필터링 기반 방법과 어떻게 비교되는가?
• RQ5 특히 모든 잠재적으로 관련이 있을 만한 변수 목록을 포괄적으로 확보해야 할 경우, LASSO 대신 ElasticNet이나 NTA를 선택해야 할 상황은 언제인가?

주요 결과

• 저차원 설정(n ≫ m)에서는 SIVS, 최적의 부분집합, MCP가 다른 방법보다 뛰어난 성능을 보이며, LASSO와 ElasticNet는 더 많은 관련 없는 변수를 선택하는 경향이 있다.
• 중간차원 설정(n ≈ m)에서는 최적의 부분집합과 MCP가 강력한 성능을 유지하며, SCAD는 약간의 더 높은 거짓 양성률을 보이지만 빠르고 정확한 외부 예측을 제공한다.
• 고차원 설정(m > n)에서는 필터링 기반 방법이 매우 적은 수의 변수를 선택하지만 예측 정확도는 유지되어 희박 모델 구축에 적합하다.
• 고차원 희박 모델에서는 SCAD와 MCP가 가장 낮은 Brier 점수를 기록하고 진정한 예측 변수의 적절한 수를 선택하여 LASSO와 ElasticNet를 능가한다.
• Boruta와 varSelRF는 실제 유전자 발현 데이터에서 가장 높은 예측 정확도를 보이며 일관된 수의 중요한 유전자를 선택하여 생물학적 응용에 이상적이다.
• SIVS, VSURF, PIMP는 계산 비용이 매우 높아 초고차원 설정에서는 이론적 매력에도 불구하고 피해야 한다.