[논문 리뷰] Categorical Feature Compression via Submodular Optimization

MohammadHossein Bateni, Lin Chen외 4명|arXiv (Cornell University)|2019. 04. 30.

Complexity and Algorithms in Graphs인용 수 6

한 줄 요약

이 논문은 이진 레이블과의 상호정보량을 최대화하는 데 초점을 맞춘 확장 가능하고 분산형 알고리즘을 제안한다. 하위모듈러 최적화를 통해 최적 해의 (1−1/e)≈63%의 근사값을 보장하며, 순차적 런타임은 O(n log n)이고 분산 구현은 로그 라운드 수준이다. 이는 Criteo 데이터셋에서 상호정보량 유지를 위해 히وري스틱 기법보다 뛰어난 성능을 보인다.

ABSTRACT

In the era of big data, learning from categorical features with very large vocabularies (e.g., 28 million for the Criteo click prediction dataset) has become a practical challenge for machine learning researchers and practitioners. We design a highly-scalable vocabulary compression algorithm that seeks to maximize the mutual information between the compressed categorical feature and the target binary labels and we furthermore show that its solution is guaranteed to be within a $1-1/e \approx 63\%$ factor of the global optimal solution. To achieve this, we introduce a novel re-parametrization of the mutual information objective, which we prove is submodular, and design a data structure to query the submodular function in amortized $O(\log n )$ time (where $n$ is the input vocabulary size). Our complete algorithm is shown to operate in $O(n \log n )$ time. Additionally, we design a distributed implementation in which the query data structure is decomposed across $O(k)$ machines such that each machine only requires $O(\frac n k)$ space, while still preserving the approximation guarantee and using only logarithmic rounds of computation. We also provide analysis of simple alternative heuristic compression methods to demonstrate they cannot achieve any approximation guarantee. Using the large-scale Criteo learning task, we demonstrate better performance in retaining mutual information and also verify competitive learning performance compared to other baseline methods.

연구 동기 및 목표

• Criteo 클릭 예측 데이터셋에서 2800만 개의 고유한 값이 포함된 매우 큰 어휘를 가진 범주형 특성에서 기계학습 모델을 훈련하는 데 도전하는 문제를 해결하기 위해.
• 압축된 특성과 이진 레이블 간의 상호정보량을 최대화하는 확장 가능하고 분산형 알고리즘을 설계하기 위해.
• 압축 품질에 대한 이론적 근사 보장을 제공하여, 해가 전역 최적해의 1−1/e ≈ 63% 이내임을 보장하기 위해.
• 빈도 기반 또는 버킷 기반 압축과 같은 히وري스틱 기법이 이러한 보장을 제공하지 못하고 실제로는 성능이 열 劣하다는 것을 입증하기 위해.
• 실세계 데이터셋에서 상호정보량 유지 및 종단 간 학습 성능 측면에서 방법의 효과성을 검증하기 위해.

제안 방법

• 새로운 재매개변수화를 통해 상호정보량 최대화 목적함수를 하위모듈러 함수로 재구성하여 이론적 근사 보장을 가능하게 한다.
• 하위모듈러 함수에 대한 평균적으로 O(log n) 시간 쿼리를 지원하는 데이터 구조를 설계하여 최적화의 효율성을 높인다.
• 가장 빠른 알려진 하위모듈러 최대화 알고리즘(예: Badanidiyuru와 Vondrák, 2014)을 사용하여 O(n log n) 시간 내에 (1−1/e−ε)-근사값을 달성한다.
• 쿼리 오라클을 O(k)대의 머신으로 분해하여 각 머신이 오직 O(n/k) 공간만을 사용하면서도 근사 보장을 유지하는 분산 구현을 구현한다.
• 다양한 범주형 특성 간 전역 어휘 예산 할당을 위해 마진 기여도를 순위 매기고 상위 점수를 가진 값들을 선택한다.
• 신경망 모델의 로그 손실을 통해 비교함으로써 종단 간 학습 파이프라인에 방법을 통합한다.

실험 결과

연구 질문

• RQ1 이진 레이블과의 상호정보량을 최대화하면서 최적 해의 상수 요인 근사 보장을 보장하는 확장 가능한 알고리즘을 설계할 수 있는가?
• RQ2 적절한 재매개변수화 후 상호정보량 목적함수는 하위모듈러 최적화에 적합한가? 그리고 이는 효율적인 알고리즘을 이끌 수 있는가?
• RQ3 하위모듈러 오라클은 평균적으로 로그 시간 내에 효율적으로 쿼리 가능한가? 이를 통해 근사 선형 시간의 순차적 및 분산 계산이 가능해지는가?
• RQ4 제안된 방법은 빈도 기반 또는 버킷 기반 압축과 같은 히وري스틱 기반 기준과 비교해 상호정보량 유지 및 학습 성능 측면에서 어떻게 성능을 내는가?
• RQ5 근사 품질을 손상시키지 않고도 전체 데이터 복제가 필요 없이 다수의 머신에 효과적으로 확장하고 분산 구현할 수 있는가?

주요 결과

• 제안된 하위모듈러 알고리즘은 Criteo 데이터셋에서 16만 어휘 크기에서 상호정보량 손실이 오직 3×10−9에 불과하며, 이는 1만 어휘 크기에서 최대 0.654의 손실을 보이는 빈도 히وري스틱보다 뚜렷이 뛰어난 성능을 보인다.
• 하위모듈러 방법은 모든 테스트된 예산 크기에서 근사 최적의 상호정보량을 유지하며 손실이 10−6 이하로 유지되며, 디비시브 방법은 최적 할당 전략을 사용함에도 불구하고 더 높은 손실을 보인다.
• 분산 구현은 순차적 버전과 동일한 (1−1/e−ε)-근사 보장을 달성하며, 각 머신이 오직 O(n/k) 공간만을 사용하고 통신에 로그 수준의 라운드를 사용한다.
• 종단 간 학습에서 하위모듈러 압축 모델은 다른 상호정보량 기반 방법과 유사한 로그 손실을 기록하며, 빈도 히وري스틱보다 뚜렷이 뛰어난 성능을 보여 실용적 경쟁력을 입증한다.
• 빈도, 버킷, 디비시브와 같은 히وري스틱 기법은 어떤 이론적 근사 보장도 제공하지 못하며, 실제로는 레이블과 관련된 정보를 유지하는 데 열 劣하다.
• 알고리즘은 매우 큰 어휘(예: 2800만 개)에까지 확장 가능하며, O(n log n) 시간 복잡도를 달성하여 실세계 산업 규모의 기계학습 시스템에 실용적으로 적용 가능하다.