[논문 리뷰] MISSION: Ultra Large-Scale Feature Selection using Count-Sketches

Amirali Aghazadeh, Ryan Spring외 4명|arXiv (Cornell University)|2018. 06. 12.

Machine Learning and Data Classification참고 문헌 12인용 수 13

한 줄 요약

MISSION는 수많은 특징을 가진 초거대 규모의 데이터셋에서 O(log²p)의 작업 메모리만을 사용하면서도 특징의 해석 가능성을 유지하면서 메모리 효율적인 특징 선택 프레임워크이다. 이는 Count-Sketch 데이터 구조를 사용하여 특징 수가 수십억 개에 이르는 초거대 규모의 데이터셋에서 확률적 경사 하강법을 구현할 수 있도록 한다. 실제 데이터셋인 DNA 메타게놈 분석 및 클릭스루 예측에서 최신 기술 수준의 정확도를 달성하며, 탐욕적 임계값 설정 방법을 능가하고 특징 해시 성능과 동등한 정확도를 유지하면서도 해석 가능성을 훼손하지 않는다.

ABSTRACT

Feature selection is an important challenge in machine learning. It plays a crucial role in the explainability of machine-driven decisions that are rapidly permeating throughout modern society. Unfortunately, the explosion in the size and dimensionality of real-world datasets poses a severe challenge to standard feature selection algorithms. Today, it is not uncommon for datasets to have billions of dimensions. At such scale, even storing the feature vector is impossible, causing most existing feature selection methods to fail. Workarounds like feature hashing, a standard approach to large-scale machine learning, helps with the computational feasibility, but at the cost of losing the interpretability of features. In this paper, we present MISSION, a novel framework for ultra large-scale feature selection that performs stochastic gradient descent while maintaining an efficient representation of the features in memory using a Count-Sketch data structure. MISSION retains the simplicity of feature hashing without sacrificing the interpretability of the features while using only O(log^2(p)) working memory. We demonstrate that MISSION accurately and efficiently performs feature selection on real-world, large-scale datasets with billions of dimensions.

연구 동기 및 목표

• 표준 방법이 메모리 및 계산 자원 제약으로 인해 실패하는 초고차원 데이터셋에서 특징 선택 문제를 해결하기 위해.
• 대규모 학습에서 특징의 해석 가능성을 유지하면서도, 특징의 명시적 표현으로 인한 메모리 오버헤드를 피하기 위해.
• 반복 최적화를 지원하는 희박한 근사 표현을 사용하여 효율적이고 확장 가능한 특징 선택을 가능하게 하기 위해.
• 실제로 수십억 차원의 데이터셋에서 기존의 탐욕적 임계값 설정 및 특징 해시 방법보다 정확도와 수렴 속도에서 뛰어난 성능을 내기 위해.
• 상호작용 특징이 핵심적인 과학적 응용 분야인 DNA 메타게놈 분석에서 의미 있는 특징을 탐지할 수 있도록 지원하기 위해.

제안 방법

• MISSION은 O(log²p) 메모리에서 전체 특징 벡터의 근사적이고 압축된 표현을 유지하기 위해 Count-Sketch 데이터 구조를 사용한다. 이를 통해 모든 특징을 명시적으로 저장하지 않고도 효율적인 액세스를 가능하게 한다.
• 경우의 수 기반 경사 하강법(SGD)과 하드 임계값 설정을 사용하며, 각 단계에서 상위-k 특징만 업데이트한다. 이 과정에서 Count-Sketch를 사용해 특징 가중치를 근사적으로 추적한다.
• 상위-k 특징을 유지하기 위해 힙 데이터 구조를 사용하며, 가중치 변화가 작은 경우에 한해 지연 업데이트를 선택적으로 적용하여 비용이 많이 드는 힙 연산을 줄인다.
• 실제 데이터의 희박성(특징 벡터가 매우 희박함)을 활용하여 최적화 중에 밀집된 메모리 표현을 피한다.
• 기존의 해시 또는 명시적 정규화 방법과 달리, 전체 사전이나 명시적 특징 인덱싱이 필요하지 않게 특징 선택을 지원한다.
• 스케일링 및 병렬 처리가 가능하도록 설계되었으며, 효율적인 힙 업데이트와 무작위 스케칭을 통한 근사적 특징 추적을 지원한다.

실험 결과

연구 질문

• RQ1 p > 10^12개의 특징을 가진 데이터셋에서 작동할 수 있는 특징 선택 프레임워크가 해석 가능성을 유지하면서도 효율적으로 작동할 수 있는가?
• RQ2 전체 특징 벡터를 저장하는 것이 불가능한 상황에서 O(log²p) 메모리로 특징 선택을 수행할 수 있는가?
• RQ3 Count-Sketch 데이터 구조를 사용하면 IHT와 같은 탐욕적 임계값 설정 방법보다 초거대 규모 환경에서 더 나은 수렴 및 정확도를 달성할 수 있는가?
• RQ4 특징 해시보다 정확도는 높이고 특징 식별성과 해석 가능성을 유지하면서도 성능을 뛰어나게 할 수 있는가?
• RQ5 메모리 제약 조건 하에서 DNA 메타게놈 분석 및 클릭스루 예측과 같은 다양한 실제 데이터셋에서 이 프레임워크는 어떻게 확장 가능한가?

주요 결과

• Criteo 데이터셋에서 MISSION은 배치 IHT와 SGD IHT보다 평균 정밀도 2.3% 높은 0.510 AP를 달성하며, 0.498에 비해 향상되었다.
• DNA 메타게놈 분석 데이터셋에서 MISSION은 IHT보다 수렴 속도가 더 빠르며, 5 에포크 후에 전체 특징 해시 기반 기준선과 동등한 성능을 보였다.
• IHT 대비 수렴 속도에서 1~4라운드의 우수성을 보이며, 상위-k 업데이트 횟수가 적음에도 효과적인 최적화를 수행함을 시사한다.
• MISSION은 오직 O(log²p) 메모리만을 사용하여, 최대 2^48개의 특징(예: DNA 서열에서 16^12개의 K-머머)을 가진 데이터셋에까지 확장 가능하며, 기존 방식으로는 페타바이트 수준의 메모리가 필요할 것이다.
• 벽시계 시간 기준 특징 해시보다 15% 느린 17.5시간 대비 15시간을 기록하지만, 더 빠른 수렴 속도와 높은 정확도 덕분에 종합적으로 더 효과적이다.
• 786,432개의 추가 요소만으로도 높은 정확도를 유지함으로써 초거대 규모 환경에서의 강건성과 효율성을 입증하였다.