[논문 리뷰] Regularization and feature selection for large dimensional data

Nand Kishore Sharma, Prathamesh Verlekar외 2명|arXiv (Cornell University)|2017. 12. 06.

Gene expression and cancer classification참고 문헌 14인용 수 3

한 줄 요약

이 논문은 고차원 데이터에서 SVM에 L1, L2 또는 병합된 정규화를 사용하여 다섯 가지 임bedded 특성 선택 방법을 평가하며, 희소성, 상관관계 및 실행 시간 측면에서 성능을 비교한다. 엘라스틱 넷(EN)은 정확도와 속도 측면에서 일관되게 다른 방법들을 능가하며, 다양한 데이터 유형과 상관관계 수준에서 강건함을 입증한다.

ABSTRACT

Feature selection has evolved to be an important step in several machine learning paradigms. In domains like bio-informatics and text classification which involve data of high dimensions, feature selection can help in drastically reducing the feature space. In cases where it is difficult or infeasible to obtain sufficient number of training examples, feature selection helps overcome the curse of dimensionality which in turn helps improve performance of the classification algorithm. The focus of our research here are five embedded feature selection methods which use either the ridge regression, or Lasso regression, or a combination of the two in the regularization part of the optimization function. We evaluate five chosen methods on five large dimensional datasets and compare them on the parameters of sparsity and correlation in the datasets and their execution times.

연구 동기 및 목표

• 다양한 정규화 기법—L1, L2 및 병합된 L1/L2—이 고차원 데이터에서 특성 선택 성능에 미치는 영향을 평가하기 위해.
• 실제 데이터셋에서 희소성과 상관관계가 다양한 조건에서 임베디드 방법(SVM에 정규화를 적용한 방법)을 필터 방법(SC 및 골루브)과 비교하기 위해.
• 분류 정확도(BSR), 희소성, 상관관계 민감도 및 실행 시간 측면에서 알고리즘 성능을 평가하기 위해.
• 다양한 데이터 특성에서 정확도, 효율성, 강건성의 최적의 균형을 제공하는 정규화 전략을 특정하기 위해.

제안 방법

• 다섯 가지 임베디드 특성 선택 방법을 사용: L1-SVM, L2-SVM, L21, 로컬 학습(LL), 엘라스틱 넷(EN), 모두 다른 정규화 노름을 적용한 SVM 기반.
• 통합 최적화 프레임워크를 적용: min_w,b L(w,b) + λR(w,b), 여기서 L은 손실 함수(예: 허지 손실)이고 R은 정규화 항(L1, L2 또는 혼합)이다.
• 다섯 개인 고차원 데이터셋에 적용: 아라비드옵시스, 아르세네, 뎀서, 도로테아(10만 개의 특성), 지세트. 이는 희소 및 조밀한 데이터를 대표한다.
• 성능 측정 기준으로 균형 감도율(BSR), 선택된 특성의 희소성, 상관관계 민감도 및 실행 시간을 사용.
• 데이터 특성에 따라 비교: 희소성(희소 대 조밀), 상관관계(저수준 대 고수준), 차원 수(최대 10만 개의 특성).
• 비교를 위한 기준으로 필터 방법인 SC와 골루브를 사용하며, 임베디드 방법과의 성능를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 상관관계 수준을 가진 데이터셋에서 L1, L2 및 병합된 L1/L2 정규화의 분류 정확도(BSR)는 어떻게 성능을 보이는가?
• RQ2 희소 및 조밀한 데이터셋에서 특성 선택의 희소성와 분류 성능 간의 최적 균형을 달성하는 임베디드 방법은 무엇인가?
• RQ3 특히 초고차원 환경(예: 10만 개의 특성을 가진 도로테아)에서 다섯 가지 임베디드 방법의 실행 시간은 어떻게 달라지는가?
• RQ4 고상관관계 데이터셋에서 L1 정규화의 성능은 얼마나 떨어지며, EN과 L21은 어떻게 비교되는가?
• RQ5 엘라스틱 넷 프레임워크에서 L1과 L2 정규화를 손실 항과 정규화 항 모두에 적용하는 것이, 손실 항이나 정규화 항에만 적용하는 것보다 우수한 성능을 내는가?

주요 결과

• 엘라스틱 넷(EN)은 다섯 데이터셋 중 세 곳에서 가장 높은 균형 감도율(BSR)을 기록하여 다양한 데이터 유형에서 뛰어난 전반적 성능을 입증했다.
• EN은 실행 시간 측면에서 다른 방법들보다 뚜렷이 뛰어나, 가장 작은 데이터셋(Arcene)에서 평균 5.3초 내로 특성 선택을 완료했으며, 다음으로 빠른 방법보다 45초나 빠르게 처리했다.
• 고상관관계 데이터셋인 도로테아에서는 L1-SVM의 성능이 가장 열 劣했지만, 상관관계 기반 필터인 SC가 가장 우수했고, EN은 여전히 두 번째로 높은 순위를 기록하여 상관관계에 대한 강건성을 보였다.
• 저상관관계 데이터셋(예: 뎀서, 지세트)에서는 로컬 학습(LL)과 L1-SVM이 최상의 성능을 보였으며, EN은 세 개 중 두 곳에서 두 번째로 높은 순위를 기록하여 유연성을 입증했다.
• 희소 데이터셋에서는 EN과 LL이 가장 높은 BSR를 기록했고, 조밀한 데이터셋에서는 LL, L1-SVM, EN이 상위 성능를 보여, 강력한 적응 능력을 보였다.
• L21 방법은 손실 항과 정규화 항 모두에 두 노름을 적용하지만, EN은 정규화 항에만 두 노름을 적용함으로써 더 뛰어난 성능를 보였으며, 이는 이 설정이 더 효과적임을 시사한다.