[논문 리뷰] Correlated Feature Selection with Extended Exclusive Group Lasso

Yuxin Sun, Benny Chain외 2명|arXiv (Cornell University)|2020. 02. 27.

Statistical Methods and Inference참고 문헌 24인용 수 5

한 줄 요약

이 논문은 고차원이고 상관관계가 높은 생물학적 데이터에서의 특성 선택을 향상시키기 위해 무작위 그룹 할당, 안정성 선택, 인공 특성 등을 통합한 확장된 배타적 그룹 라소(EGL) 방법을 제안한다. Lasso보다 더 많은 정보성 특성을 식별하며, 특히 상관관계가 높은 설정에서 높은 F-측정치와 강인한 선택 성능을 달성하여 시뮬레이션 및 실제 임파이티컬 데이터셋 모두에서 뛰어난 성능을 보였다.

ABSTRACT

In many high dimensional classification or regression problems set in a biological context, the complete identification of the set of informative features is often as important as predictive accuracy, since this can provide mechanistic insight and conceptual understanding. Lasso and related algorithms have been widely used since their sparse solutions naturally identify a set of informative features. However, Lasso performs erratically when features are correlated. This limits the use of such algorithms in biological problems, where features such as genes often work together in pathways, leading to sets of highly correlated features. In this paper, we examine the performance of a Lasso derivative, the exclusive group Lasso, in this setting. We propose fast algorithms to solve the exclusive group Lasso, and introduce a solution to the case when the underlying group structure is unknown. The solution combines stability selection with random group allocation and introduction of artificial features. Experiments with both synthetic and real-world data highlight the advantages of this proposed methodology over Lasso in comprehensive selection of informative features.

연구 동기 및 목표

• 특성 간 상관관계가 높을 경우 Lasso가 모든 정보성 특성을 선택하지 못하는 한계를 해결하기 위해, 생물학적 옴믹 데이터셋에서 흔히 발생하는 문제를 다루기 위해.
• 생물학적 경로나 유전자 네트워크에서 흔히 나타나는 특성 상관관계의 진정한 그룹 구조가 알려져 있지 않은 도전 과제를 해결하기 위해.
• 내부 그룹 내 희박성은 유지하면서도 외부 그룹 간의 민첩성은 허용하는 배타적 그룹 라소를 위한 확장 가능하고 효율적인 알고리즘 개발을 위해.
• 무작위 그룹 할당과 안정성 선택, 인공 특성을 융합하여 고차원 설정에서 특성 선택의 안정성과 정확도를 향상시키기 위해.
• CMV 상태 예측을 위한 실제 T세포 수용체(TCR) 시퀀싱 데이터를 포함한 시뮬레이션 데이터와 실제 생물학적 데이터셋에서 방법의 효과성을 입증하기 위해.

제안 방법

• 그룹 내 희박성을 강제하면서도 다른 그룹에서 다수의 특성을 선택할 수 있도록 ℓ1,2-노름 정규화를 사용하여 배타적 그룹 라소(EGL) 공식을 확장한다.
• EGL 최적화 문제를 효율적으로 해결하기 위해 액티브 세트 전략을 통합한 빠른 좌표 강하 알고리즘을 개발한다.
• 기존 지식이 없을 경우 특성을 무작위 그룹에 할당하여 알려지지 않은 기저의 그룹 구조를 다룰 수 있도록 무작위 그룹 할당을 도입한다.
• 다중 무작위 그룹 할당을 통한 안정성 선택을 적용하여 선택의 안정성을 향상시키고 거짓 양성(false positive)을 줄인다.
• 특성 중요도 추정의 기준이 되는 기준선을 제공함으로써 진정으로 정보성 있는 특성의 탐지 능력을 향상시키기 위해 인공 특성을 통합한다.
• 무작위 그룹 할당, 안정성 선택, 인공 특성의 모든 구성 요소를 통합한 유일한 프레임워크인 EGL-R(SA)를 구축하여 불확실성 하에서 강인한 특성 선택을 실현한다.

실험 결과

연구 질문

• RQ1 강한 특성 상관관계가 존재할 때, 특히 Lasso가 실패하는 상황에서 배타적 그룹 라소가 모든 정보성 특성을 효과적으로 식별할 수 있는가?
• RQ2 진정한 그룹 구조가 알려져 있지 않을 경우, 무작위 그룹 할당과 안정성 선택의 조합이 특성 선택 성능을 어떻게 향상시키는가?
• RQ3 고차원이고 상관관계가 높은 데이터셋에서 인공 특성의 포함이 관련 특성 탐지 능력을 어느 정도 향상시키는가?
• RQ4 제안된 EGL-R(SA) 프레임워크는 Lasso와 표준 그룹 라소에 비해 특성 선택 정확도와 안정성 측면에서 어떻게 비교되는가?
• RQ5 실제 임파이티컬 데이터셋, 예를 들어 CMV 특이적 T세포 수용체에서 생물학적으로 의미 있는 특성을 신뢰성 있게 식별할 수 있는가?

주요 결과

• 높은 상관관계(ρ=0.9)를 가진 시뮬레이션 예제 3에서 Lasso는 정보성 특성의 61%만 선택했고(F-측정치 0.79), 반면 EGL-R(SA)는 완벽한 F-측정치 1.00을 달성하며 정보성 특성의 82%를 선택했다.
• 낮은 상관관계(ρ=0.25)를 가진 예제 4에서는 Lasso가 잘 수행되었지만(F-측정치 0.99), EGL-R(SA)는 정보성 특성의 100% 선택과 낮은 거짓 양성률을 유지하며 뛰어난 성능을 보였다.
• EGL-R(SA)는 관련 없는 특성의 선택 확률을 EGL-R(S) 대비 평균 0.10으로 낮추어 특이도가 향상됨을 나타냈다.
• 실제 CMV TCR 데이터에서 EGL-R(SA)는 단지 47개의 TCR(모두 CMV+ 샘플에서 과표현됨)를 선택했고, SVM를 사용하여 88–89%의 분류 정확도를 달성했으며, ℓ1-SVM가 1950개의 특성을 선택했지만 정확도는 65%에 그쳤다.
• 독립적인 검증 세트(Cohort 2 및 3)에서 높은 안정성과 재현 가능성을 확보하여 실제 설정에서 강인한 특성 선택 능력을 입증했다.
• 인공 특성과 무작위 그룹 할당의 사용으로 관련 없는 특성에 대한 선택 확률은 더 압축되었고, 정보성 특성에 대한 확률은 더 높아져 개선된 구분 능력을 확인했다.