[논문 리뷰] Naive Feature Selection: a Nearly Tight Convex Relaxation for Sparse Naive Bayes

Armin Askari, Alexandre d’Aspremont외 1명|arXiv (Cornell University)|2019. 05. 23.

Rough Sets and Fuzzy Logic인용 수 4

한 줄 요약

이 논문은 분류 계수의 희소성에 직접적인 제약을 가하는 볼록 리 릴랙세이션을 통해 희소성(Naive Bayes의 변형)을 제안하며, 특징 선택을 위한 정확하거나 거의 정밀한 해를 가능하게 한다. 이 방법은 LASSO 및 재귀적 특징 제거와 유사한 최고 수준의 통계적 성능를 달성하지만, 거의 선형의 계산 복잡도를 가지며, 최적화되지 않은 CPU 구현을 사용하여 160만 개의 데이터 포인트와 1200만 개의 특징을 가진 텍스트 데이터셋에서 15초 이내로 학습이 가능하다.

ABSTRACT

Due to its linear complexity, naive Bayes classification remains an attractive supervised learning method, especially in very large-scale settings. We propose a sparse version of naive Bayes, which can be used for feature selection. This leads to a combinatorial maximum-likelihood problem, for which we provide an exact solution in the case of binary data, or a bound in the multinomial case. We prove that our convex relaxation bounds becomes tight as the marginal contribution of additional features decreases, using a priori duality gap bounds dervied from the Shapley-Folkman theorem. We show how to produce primal solutions satisfying these bounds. Both binary and multinomial sparse models are solvable in time almost linear in problem size, representing a very small extra relative cost compared to the classical naive Bayes. Numerical experiments on text data show that the naive Bayes feature selection method is as statistically effective as state-of-the-art feature selection methods such as recursive feature elimination, $l_1$-penalized logistic regression and LASSO, while being orders of magnitude faster.

연구 동기 및 목표

• 초기 조정 없이 특징 선택의 기수를 직접 제어할 수 있는 희소 Naive Bayes 모델을 개발한다.
• 이진(Bernoulli) 데이터에 대해 정확한 해를 제공하고, 다항분포 데이터에 대해 밀도가 높은 볼록 리 릴랙세이션을 제공한다.
• 학습 복잡도를 데이터 크기와 거의 선형으로 유지하여 고전적 Naive Bayes의 확장성 특성을 유지한다.
• 상태의 최신 기법보다도 수십 배 빠른 속도로 성능을 달성하면서도 통계적 성능가 비슷하거나 뛰어나다는 것을 입증한다.
• 특징의 마진널 기여가 감소할수록 리 릴랙세이션이 점점 더 정밀해지는 조건을 밝힌다.

제안 방법

• 분류 계수 벡터의 기수 제약 조건을 명시적으로 포함한 조합 최대우도 문제를 수립한다.
• 이중성과 KKT 조건을 이용해 이진(Bernoulli) 데이터에 대해 정확한 해를 유도하며, 이는 특징 계수에 대한 임계값 처리로 단순화된다.
• 다항분포 데이터에 대해 라그랑주 이중 접근법을 사용한 볼록 리 릴랙세이션을 제안하여 최적 목표 함수의 상한선을 제공한다.
• 두 단계 알고리즘을 활용한다: 먼저 표준 Naive Bayes를 통해 특징 계수를 계산하고, 이후 희소성 강제를 위한 임계값 처리 규칙을 적용한다.
• 이중성 기반 접근법을 통해 특징의 마진널 기여가 작을 경우 리 릴랙세이션이 정밀해지는 것을 증명한다.
• Naive Bayes 분류기의 구조를 활용하여 최종 모델이 해석 가능하고 계산적으로 효율적인 상태를 유지한다.

실험 결과

연구 질문

• RQ1 희소 Naive Bayes에 대해 계산적으로 효율적이고 통계적으로 정밀한 볼록 리 릴랙세이션을 유도할 수 있는가?
• RQ2 제안된 방법이 희소성 수준을 위한 초모수 조정 없이도 정확한 희소성 제어를 달성할 수 있는가?
• RQ3 정확도와 속도 측면에서 LASSO, 재귀적 특징 제거 및 기타 특징 선택 기준과 비교해 본 희소 Naive Bayes 모델의 성능는 어떠한가?
• RQ4 특징의 마진널 기여가 감소할 경우, 볼록 리 릴랙세이션이 어떤 조건에서 정밀해지는가?
• RQ5 수백만 개의 특징과 수천만 개의 학습 포인트를 포함하는 매우 큰 데이터셋에서도, 거의 선형 학습 시간을 유지하면서 확장 가능한가?

주요 결과

• 제안된 희소 Naive Bayes 모델은 텍스트 분류 작업에서 LASSO 및 재귀적 특징 제거와 유사한 통계적 성능를 달성한다.
• 160만 개의 학습 포인트와 약 1200만 개의 특징을 가진 대규모 데이터셋에서, 최적화되지 않은 CPU 구현을 사용하여 15초 이내로 학습이 완료된다.
• 이 방법은 이진(Bernoulli) 데이터에 대해 정확한 해를 제공하고, 특징의 마진널 기여가 감소할수록 점점 더 정밀해지는 볼록 리 릴랙세이션을 제공한다.
• 모델은 단순한 임계값 처리 기반 Naive Bayes 및 오즈비율 기반 특징 선택과 비교해 정확도와 효율성에서 모두 뛰어나다.
• 알고리즘은 특징 수와 데이터 포인트 수에 대해 거의 선형으로 확장되며, 고전적 Naive Bayes의 복잡도를 유지하면서도 최소한의 오버헤드를 추가한다.
• 기수 제약 조건을 통해 직접적으로 희소성 수준을 제어할 수 있기 때문에, 원하는 희소성 수준을 달성하기 위한 초모수 조정이 필요 없어진다.