[논문 리뷰] Safe Feature Elimination in Sparse Supervised Learning

Laurent El Ghaoui, Vivian Viallon외 1명|arXiv (Cornell University)|2010. 09. 17.

Machine Learning and Algorithms참고 문헌 20인용 수 177

한 줄 요약

이 논문은 충족 가능한 안전한 특징 제거 방법을 제안한다. 이는 볼록 손실과 l1-정규화를 갖는 희소 지도 학습 문제에 적용되며, 최종 해에서 반드시 0이 되는 특징을 식별하고 제거함으로써 최적화 이전에 차원을 크게 감소시킨다. 이로 인해 선형 시간 복잡도를 달성하고, 기존의 솔버가 훨씬 더 큰 데이터셋을 처리할 수 있게 되며, 특히 희소 모델을 사용하는 텍스트 분류에서 유의미한 성능 향상을 이룬다.

ABSTRACT

We investigate fast methods that allow to quickly eliminate variables (features) in supervised learning problems involving a convex loss function and a $l_1$-norm penalty, leading to a potentially substantial reduction in the number of variables prior to running the supervised learning algorithm. The methods are not heuristic: they only eliminate features that are {\em guaranteed} to be absent after solving the learning problem. Our framework applies to a large class of problems, including support vector machine classification, logistic regression and least-squares. The complexity of the feature elimination step is negligible compared to the typical computational effort involved in the sparse supervised learning problem: it grows linearly with the number of features times the number of examples, with much better count if data is sparse. We apply our method to data sets arising in text classification and observe a dramatic reduction of the dimensionality, hence in computational effort required to solve the learning problem, especially when very sparse classifiers are sought. Our method allows to immediately extend the scope of existing algorithms, allowing us to run them on data sets of sizes that were out of their reach before.

연구 동기 및 목표

• 희소 지도 학습 문제의 해에서 반드시 0이 되는 특징을 제거하는 빠르고 비히우리스터적 방법을 개발하기 위해.
• 기존 표준 솔버를 실행하기 이전에 관련 없는 특징을 제거하여 대규모 학습 작업의 계산 비용을 줄이기 위해.
• 최적화 이전의 차원 감소를 통해 기존의 희소 학습 알고리즘을 더 큰 데이터셋에 적용 가능하게 하기 위해.
• 특징 수와 예제 수에 대해 선형 복잡도를 달성함으로써, 특히 희소 데이터에서 효율적이고 확장 가능한 방법을 확보하기 위해.

제안 방법

• 이 방법은 이중성과 최적성 조건을 이용하여 최종 l1-정규화된 해에서 반드시 0이 되는 특징을 식별한다.
• 특정 특징에 대해 계수를 0으로 이끌어내는 이중 해의 성질을 확인하는 이중 기반 기준을 적용한다.
• 제거 단계는 n개의 예제와 d개의 특징을 기반으로 O(n * d) 시간에 수행되며, 데이터 크기에 따라 선형적으로 증가한다.
• 이 방법은 최소 제곱법, 로지스틱 회귀, l1-정규화를 갖는 서포트 벡터 머신을 포함한 광범위한 문제 유형에 적용 가능하다.
• 데이터의 희소성을 활용하여 계산 비용을 추가로 감소시켜, 고차원적 희소 데이터셋에서 매우 효율적으로 작동한다.

실험 결과

연구 질문

• RQ1 완전한 최적화를 풀지 않고도, 희소 지도 학습 문제의 해에서 반드시 0이 되는 특징을 식별하고 제거할 수 있는가?
• RQ2 데이터 크기에 비례하여 선형적으로 증가하는 계산 효율적인 안전한 특징 제거 방법을 어떻게 설계할 수 있는가?
• RQ3 안전한 특징 제거가 표준 솔버를 실행하기 이전에 큰 희소 데이터셋의 차원을 얼마나 감소시킬 수 있는가?
• RQ4 이 방법은 로지스틱 회귀나 SVM 등 다양한 볼록 손실 함수에 l1-정규화를 적용할 때에도 균일하게 적용될 수 있는가?

주요 결과

• 제안된 특징 제거 방법은 매우 희소한 분류기의 경우 차원 감소 효과가 극도로 뚜렷하다.
• 최적화의 주요 단계에 비해 제거 단계의 계산 비용은 극히 낮으며, 특징 수와 예제 수에 비례하여 선형적으로 증가한다.
• 이 방법은 최소 제곱법, 로지스틱 회귀, l1-정규화를 갖는 서포트 벡터 머신을 포함한 광범위한 문제 유형에 적용 가능하다.
• 이 방법은 기존의 솔버가 이전에는 계산 제약으로 인해 처리할 수 없었던 데이터셋을 처리할 수 있게 한다.
• 이 방법은 특히 텍스트 분류 데이터셋과 같이 희소성이 높은 데이터에서 매우 효과적이며, 이로 인해 효율성 향상 효과가 극대화된다.