[논문 리뷰] Bayesian subset selection and variable importance for interpretable prediction and classification

Daniel R. Kowal|arXiv (Cornell University)|2021. 04. 20.

Statistical Methods and Inference참고 문헌 6인용 수 6

한 줄 요약

이 논문은 단일 '최적' 부분집합을 찾는 불안정한 검색을 대체하여 근사 최적 부분집합의 가족을 도입함으로써 안정적이고 해석 가능한 예측 및 분류를 가능하게 하는 베이지안 프레임워크를 제안한다. 예측 손실과 베이지안 의사결정 분석을 통합함으로써 정규화, 불확실성 정량화, 그리고 새로운 변수 중요도 측정법을 제공하며, 상관관계가 있는 공변량을 가진 시뮬레이션 및 실제 교육 데이터에서 흔히 사용되는 빈도주의 및 베이지안 경쟁자들보다 뛰어난 성능을 보인다.

ABSTRACT

Subset selection is a valuable tool for interpretable learning, scientific discovery, and data compression. However, classical subset selection is often avoided due to selection instability, lack of regularization, and difficulties with post-selection inference. We address these challenges from a Bayesian perspective. Given any Bayesian predictive model $\\mathcal{M}$, we extract a family of near-optimal subsets of variables for linear prediction or classification. This strategy deemphasizes the role of a single "best" subset and instead advances the broader perspective that often many subsets are highly competitive. The acceptable family of subsets offers a new pathway for model interpretation and is neatly summarized by key members such as the smallest acceptable subset, along with new (co-) variable importance metrics based on whether variables (co-) appear in all, some, or no acceptable subsets. More broadly, we apply Bayesian decision analysis to derive the optimal linear coefficients for any subset of variables. These coefficients inherit both regularization and predictive uncertainty quantification via $\\mathcal{M}$. For both simulated and real data, the proposed approach exhibits better prediction, interval estimation, and variable selection than competing Bayesian and frequentist selection methods. These tools are applied to a large education dataset with highly correlated covariates. Our analysis provides unique insights into the combination of environmental, socioeconomic, and demographic factors that predict educational outcomes, and identifies over 200 distinct subsets of variables that offer near-optimal out-of-sample predictive accuracy.

연구 동기 및 목표

• 고차원 데이터에서 전통적인 부분집합 선택의 불안정성, 정규화 부족, 선택 후 추론 문제를 해결하기 위해.
• 단일 '최적' 부분집합을 찾는 것 대신 근사 최적 부분집합의 가족을 도입하여 모델의 해석 가능성과 강건성을 향상시키기 위해.
• 수용 가능한 부분집합들 내에서의 포함 빈도를 기반으로 한 새로운 베이지안 변수 중요도 측정법을 개발하여 공변량 효과에 대한 과학적 통찰을 향상시키기 위해.
• 예측 모델링과 의사결정 이론 기반 부분집합 선택을 통합하여, 단일 예측 모델을 통해 정규화와 불확실성 정량화를 보장하기 위해.
• 모의 및 실제 교육 데이터에서 빈도주의 및 베이지안 경쟁자들과 비교해 예측, 구간 추정, 변수 선택의 안정성 측면에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 모델 𝒟 하에서 예측 손실의 기대값을 최소화하는 베이지안 의사결정 문제로 부분집합 선택을 공식화하며, 점 추정에 의존하지 않는다.
• 최적 예측 성능에 근접하는 부분집합들로 구성된 '수용 가능한 가족' 𝒜를 정의하며, 최적 부분집합 대비 예측 손실의 허용 오차 Δ를 설정한다.
• 완전한 베이지안 모델 𝒟의 사후 예측 분포를 사용하여 외부 샘플 예측 손실을 계산하고 수용 가능한 부분집합을 식별한다.
• 완전한 모델에서 유도된 정규화와 불확실성 정량화를 계승하는 베이지안 의사결정 분석을 통해 각 부분집합에 대한 최적 선형 계수를 유도한다.
• 새로운 변수 중요도 측정법 도입: VI_incl(j)는 근사 중요도(포함 빈도), VI_co(j,ℓ)는 공존 중요도(공동 포함 빈도)를 기반으로 한다.
• 선형 회귀 및 로지스틱 회귀 모두에 적용하며, 분류 작업에는 교차 엔트로피 손실을 사용하고, 사후 계산에는 MCMC 또는 변분 추론을 사용한다.

실험 결과

연구 질문

• RQ1 단일 '최적' 부분집합 대신 근사 최적 부분집합의 가족을 식별함으로써 베이지안 프레임워크가 부분집합 선택의 안정성을 높일 수 있는가?
• RQ2 단일 후행 포함 확률 대신 다수의 고성능 부분집합 내 포함 빈도를 반영하여 변수 중요도를 재정의할 수 있는가?
• RQ3 제안된 방법이 빈도주의 및 베이지안 경쟁자들과 비교해 예측 정확도, 구간 추정, 변수 선택의 안정성 측면에서 향상되었는가?
• RQ4 수용 가능한 부분집합들이 고차원적이고 상관관계가 있는 데이터(예: 교육 성과)에서 강건하고 해석 가능한 관계를 어떻게 드러내는가?
• RQ5 새로운 변수 중요도 측정법이 기존 측정법과 비교해 실제 데이터셋에서 핵심 예측변수를 식별하는 데 얼마나 효과적인가?

주요 결과

• 높은 상관관계를 가진 공변량을 가진 대규모 교육 데이터셋에서 제안된 방법은 실질적으로 200개 이상의 고유한 근사 최적 부분집합을 식별하여 실질적인 라슈모프 효과를 입증한다.
• 모든 시뮬레이션 시나리오에서 단일 예측 및 분류 성능을 빼고는 모든 경쟁 방법(빈도주의 lasso 및 적응형 lasso 포함)을 초월하는 최소 수용 가능한 부분집합 𝒮_small이 성능을 냈다.
• 예측의 경우 수용 가능한 가족 𝒜0,0.1은 1,183개의 부분집합을 포함하고, 위험에 처한 학생의 분류의 경우 이는 1,547개로 확장되어 분류 상황에서 더 넓은 모델 등가성을 보여준다.
• 변수 중요도 측정법 VI_incl(j)는 예측 및 분류 설정 모두에서 동일한 핵심 공변량(예: PM2.5 노출, 지역 빈곤 수준)을 식별하여 해석 가능성 향상을 이룬다.
• 분류의 경우 최소 부분집합(|𝒮_small| = 16)은 예측의 경우보다 작으며, 이 크기의 부분집합 21개가 근사 최적 성능을 달성함으로써 분류에서 더 큰 유연성을 보였다.
• 적응형 lasso 경쟁자는 제안된 방법에서 식별된 핵심 공변량을 포함하지 못했고, 점 추정치와 신뢰구간 사이에 일관성 없음을 보여, 본 방법의 강건성을 강조한다.