[논문 리뷰] ROOFS: RObust biOmarker Feature Selection

Bakhmach, Anastasiia, Paul Dufossé외 5명|SPIRE - Sciences Po Institutional REpository|2026. 01. 08.

Cancer Immunotherapy and Biomarkers인용 수 0

한 줄 요약

ROOFS 벤치마크는 생물의학 데이터에서 많은 특징 선택 방법을 평가하여 안정성, 낙관성 보정 예측 성능, 그리고 준합성 진짜/가짜 발견 평가를 통해 강건한 바이오마커 서명을 식별하며 NSCLC 면역요법 저항 데이터에서 시연되었다.

ABSTRACT

Feature selection (FS) is essential for biomarker discovery and clinical predictive modeling. Over the past decades, methodological literature on FS has become rich and mature, offering a wide spectrum of algorithmic approaches. However, much of this methodological progress has not fully translated into applied biomedical research. Moreover, challenges inherent in biomedical data, such as high-dimensional feature space, low sample size, multicollinearity, and missing values, make FS non-trivial. To help bridge this gap between methodological development and practical application, we propose ROOFS (RObust biOmarker Feature Selection), a Python package available at https://gitlab.inria.fr/compo/roofs, designed to help researchers in the choice of FS method adapted to their problem. ROOFS benchmarks multiple FS methods on the user's data and generates reports summarizing a comprehensive set of evaluation metrics, including downstream predictive performance estimated using optimism correction, stability, robustness of individual features, and true positive and false positive rates assessed on semi-synthetic data with a simulated outcome. We demonstrate the utility of ROOFS on data from the PIONeeR clinical trial, aimed at identifying predictors of resistance to anti-PD-(L)1 immunotherapy in lung cancer. Of the 34 FS methods gathered in ROOFS, we evaluated 23 in combination with 11 classifiers (253 models) and identified a filter based on the union of Benjamini-Hochberg false discovery rate-adjusted p-values from t-test and logistic regression as the optimal approach, outperforming other methods including widely used LASSO. We conclude that comprehensive benchmarking with ROOFS has the potential to improve the reproducibility of FS discoveries and increase the translational value of clinical models.

연구 동기 및 목표

• 고차원·다중 모달 생물의학 데이터에서 누락 값과 다중공선성으로 인한 도전을 고려한 바이오마커 발견을 위한 견고한 특징 선택의 필요성 제시.
• 데이터 전처리, 특징 선택, 다운스트림 모델링에 걸친 다양한 FS 방법을 벤치마크하기 위한 자동화된 파이썬 패키지(ROOFS) 제공.
• 안정성, 낙관성 보정 성능이 반영된 예측 성능, 준합성 결과에서의 진짜/거짓 양성률 등 포괄적 평가 지표 제공.
• ROOFS의 활용 사례로 NSCLC 동반 코호트(PIONeeR)에서 anti-PD-(L)1 치료에 대한 저항 예측 및 방법 선택 가이드 제시

제안 방법

• 필터, 임베디드, 래퍼, 앙상블에 걸친 34개 FS 방법을 통합하고 벤치마킹을 위한 23개 대표 방법을 선택.
• 선정 후 데이터에 대해 scikit-learn 호환 모델을 사용한 다운스트림 분류기를 적용하여 예측 성능 평가.
• 동일한 전처리 및 모델링 파이프라인으로 부트스트랩 재采样(B=100) 수행하여 성능과 안정성 추정.
• 성능 추정을 위한 낙관성 보정(OC)을 Harrell, .632, .632+ 방법으로 구현하고 최종 보고에는 .632+를 선택.
• 방법 간 특성 수준의 강건성 및 FS 안정성을 Nogueira 기반 빈도 지표로 측정하고 보고.
• 준합성 결과를 사용한 진짜/거짓 발견 평가를 통해 TPR, FPR, FDR, FOR를 계산.
• 결측치를 처리하기 위한 중간값/최빈값 대체 및 z-점수 정규화를 포함한 데이터 전처리 단계를 포함

Figure 1: Overview of the roofs pipeline for comprehensive FS benchmarking.

실험 결과

연구 질문

• RQ1 다양한 알고리즘 계열의 특징 선택 방법 중 heterogeneous 생물의학 데이터에서 안정성과 예측 성능 간 최적의 트레이드오프를 제공하는 방법은 무엇인가?
• RQ2 다중공선성 및 누락 데이터가 서로 다른 FS 접근법으로 선택된 바이오마커 서명의 견고성에 어떠한 영향을 미치는가?
• RQ3 ROOFS의 최적화 및 보고가 임상 예측 환경에서 거짓 양성을 억제하고 진짜 발견을 극대화하도록 연구자들이 FS 방법을 선택하도록 안내할 수 있는가?
• RQ4 실제 데이터에서 발견력 평가를 위한 준합성 실제 예측자를 평가하는 추가 가치가 무엇인가?

주요 결과

• 필터는 일반적으로 높은 안정성과 경쟁력 있는 AUC를 보였으며, real-data 벤치마크에서 t-테스트와 로지스틱 회귀의 BH 보정 p-값의 합집합인 p.adjust가 최상의 성능을 보임.
• 214개 특징으로의 VIF 기반 사전 필터링은 방법 간 FS 안정성을 약간 증가시켜 서명의 신뢰성을 향상시킴.
• LASSO는 다중공선성으로 인해 부트스트랩 샘플 간 변동성이 높아 비교적 중간 정도의 안정성을 보였고 많은 특징이 일관되게 선택되지 않음.
• 래퍼 및 앙상블 방법은 계산 시간이 더 많이 소요되는 경향이 있었고 LASSO나 특정 필터보다 일관되게 예측 성능이 우수하지는 않음.
• 준합성 벤치마킹은 트레이드오프를 드러냄: 높은 TPR은 종종 높은 FPR을 동반했고, 안정성 중심 방법은 TPR이 낮아도 FDR 제어에 더 우수한 경향이 있었으며, p.adjust 필터는 해당 설정에서 높은 TPR과 허용 가능한 FPR을 달성함.
• PIONeeR 데이터에서 gradient boosting을 이용한 p.adjust 기반 서명이 낙관성 보정 AUC 0.72로 가장 높고 안정성도 강함(S = 0.39).

Figure 2: Instability of LASSO. A: Bootstrap selection frequencies for features selected by LASSO in at least 1 bootstrap sample. B: Variability in selected subset sizes and out-of-bag AUC.