[논문 리뷰] AutoCross: Automatic Feature Crossing for Tabular Data in Real-World Applications

Yuanfei Luo, Mengshuo Wang외 6명|arXiv (Cornell University)|2019. 04. 29.

Data Mining Algorithms and Applications참고 문헌 42인용 수 8

한 줄 요약

AutoCross는 고차원의 교차 특징을 범주형 변수에서 효율적으로 생성하기 위해 트리 구조 공간에서 비드 서치를 사용하는 표본 데이터를 위한 자동 특징 교차 시스템이다. 이는 최소한의 사용자 전문 지식으로 선형 모델과 딥 러닝 모델의 성능을 향상시키며, 낮은 추론 지연과 분산 환경에서의 확장성을 유지하면서도 상당한 성능 향상을 이룬다.

ABSTRACT

Feature crossing captures interactions among categorical features and is useful to enhance learning from tabular data in real-world businesses. In this paper, we present AutoCross, an automatic feature crossing tool provided by 4Paradigm to its customers, ranging from banks, hospitals, to Internet corporations. By performing beam search in a tree-structured space, AutoCross enables efficient generation of high-order cross features, which is not yet visited by existing works. Additionally, we propose successive mini-batch gradient descent and multi-granularity discretization to further improve efficiency and effectiveness, while ensuring simplicity so that no machine learning expertise or tedious hyper-parameter tuning is required. Furthermore, the algorithms are designed to reduce the computational, transmitting, and storage costs involved in distributed computing. Experimental results on both benchmark and real-world business datasets demonstrate the effectiveness and efficiency of AutoCross. It is shown that AutoCross can significantly enhance the performance of both linear and deep models.

연구 동기 및 목표

• 실제 비즈니스 응용 분야에서 표본 데이터의 범주형 변수로부터 고차원 교차 특징을 자동으로 생성하는 것.
• 특징 공학에서 머신러닝 전문 지식과 하이퍼파라미터 튜닝의 필요성을 줄이는 것.
• 저비용의 계산, 저장 및 전송 비용으로 대규모 분산 컴퓨팅 환경에서 효율적이고 확장 가능한 특징 교차를 가능하게 하는 것.
• 효과적이고 해석 가능한 특징 교차를 통해 선형 모델과 딥 러닝 모델의 성능을 향상시키는 것.
• 고성능 생산 시스템에서의 온라인 배포를 위해 낮은 추론 지연을 보장하는 것.

제안 방법

• AutoCross는 트리 구조 공간에서 비드 서치를 사용하여 고차원 교차 특징을 효율적으로 탐색하고 생성한다.
• 교차 특징 선택 최적화를 위해 연속적인 미니배치 경사하강법을 적용하여 학습 효율성을 향상시킨다.
• 다중 해상도 이산화를 적용하여 다양한 추상 수준에서 범주형 특징을 처리함으로써 특징 표현을 향상시킨다.
• 시스템은 분산 컴퓨팅을 위해 설계되어 대규모 구현에서 데이터 전송 및 저장 비용을 최소화한다.
• 수동 특징 공학이나 광범위한 하이퍼파라미터 튜닝 없이도 교차 특징을 생성한다.
• 선형 모델(예: LR)과 딥 모델(예: Wide & Deep, xDeepFM)과의 통합이 원활하여 종단 간 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표본 데이터에서 자동 특징 교차가 전문가의 간섭 없이 모델 성능을 크게 향상시킬 수 있는가?
• RQ2 대규모 분산 환경에서 고차원 특징 교차를 효율적으로 탐색하고 선택할 수 있는가?
• RQ3 분산 특징 생성에서 계산, 저장 및 통신 비용을 줄일 수 있는 기법은 무엇인가?
• RQ4 실제 배포 환경에서 자동으로 생성된 교차 특징의 추론 지연은 딥 러닝 기반 대안보다 어떻게 비교되는가?
• RQ5 생산 환경에서 높은 효과성과 함께 단순성과 해석 가능성을 유지할 수 있는가?

주요 결과

• AutoCross는 벤치마크 및 실제 표본 데이터 세트에서 선형 모델과 딥 러닝 모델의 성능을 상당히 향상시켰다.
• Criteo 데이터셋에서 AutoCross는 학습 시간을 3.08시간으로 단축시켰으며, 이는 다음으로 우수한 방법보다 5.19시간보다 빠르다.
• Criteo 데이터셋에서 AC+LR의 추론 지연은 0.00156 ms로, xDeepFM보다 100배 이상 빠르게 성능을 냈다.
• xDeepFM이 Criteo에서 0.18985 ms가 소요되는 데 비해, AC+LR는 단지 0.00156 ms로 더 빠른 추론을 달성했다.
• AutoCross는 강력한 확장성을 보였으며, 실제 비즈니스 데이터셋을 처리하면서도 특징 생성 시간이 최대 5.19시간이 걸리는 동안 기존 방법들을 능가했다.
• 연속적인 미니배치 경사하강법과 다중 해상도 이산화의 사용은 복잡성 증가 없이도 학습 효율성과 모델 효과성을 향상시켰다.