[논문 리뷰] Maximum Relevance and Minimum Redundancy Feature Selection Methods for a Marketing Machine Learning Platform

Zhenyu Zhao, Radhika Anand외 1명|arXiv (Cornell University)|2019. 08. 15.

Machine Learning and Data Classification참고 문헌 22인용 수 23

한 줄 요약

이 논문은 대규모 마케팅 기계학습을 위한 향상된 mRMR 특성 선택 방법—특히 FCQ, RFCQ, RFRQ—을 제안하고 평가한다. 비선형 상관관계(RDC)와 모델 기반 관련성(예: 랜덤 포레스트 기여도)을 통합함으로써 FCQ 버전은 AUC와 런타임 면에서 다른 방법들을 능가하는 높은 정확도와 효율성을 달성했으며, 우버의 자동화된 머신러닝 플랫폼에 성공적으로 구현되어 모델 확장성 향상과 실시간 교차 판매 캠페인에서 12%의 추가적 채택을 가능하게 했다.

ABSTRACT

In machine learning applications for online product offerings and marketing strategies, there are often hundreds or thousands of features available to build such models. Feature selection is one essential method in such applications for multiple objectives: improving the prediction accuracy by eliminating irrelevant features, accelerating the model training and prediction speed, reducing the monitoring and maintenance workload for feature data pipeline, and providing better model interpretation and diagnosis capability. However, selecting an optimal feature subset from a large feature space is considered as an NP-complete problem. The mRMR (Minimum Redundancy and Maximum Relevance) feature selection framework solves this problem by selecting the relevant features while controlling for the redundancy within the selected features. This paper describes the approach to extend, evaluate, and implement the mRMR feature selection methods for classification problem in a marketing machine learning platform at Uber that automates creation and deployment of targeting and personalization models at scale. This study first extends the existing mRMR methods by introducing a non-linear feature redundancy measure and a model-based feature relevance measure. Then an extensive empirical evaluation is performed for eight different feature selection methods, using one synthetic dataset and three real-world marketing datasets at Uber to cover different use cases. Based on the empirical results, the selected mRMR method is implemented in production for the marketing machine learning platform. A description of the production implementation is provided and an online experiment deployed through the platform is discussed.

연구 동기 및 목표

• 자동화된 기계학습 플랫폼에서 대규모 고차원 마케팅 특성 공간에서 최적의 특성 조합을 선택하는 데 도전하는 것.
• 비선형 상관관계 측정(예: RDC를 사용)과 모델 기반 관련성(예: 랜덤 포레스트 특성 기여도)을 도입하여 mRMR를 향상시키는 것.
• 분류 성능와 계산 효율성 측면에서 다양한 합성 및 실제 마케팅 데이터셋을 대상으로 여러 mRMR 변종을 평가하는 것.
• 스칼라 스파크를 사용해 확장성과 저지연 추론을 확보하기 위해 최고 성능을 보인 방법(FCQ)을 생산 환경에 구현하고 최적화하는 것.
• 사용자 교차 판매 타겟팅을 위한 온라인 A/B 실험을 통해 방법의 비즈니스 영향을 검증하는 것.

제안 방법

• 선형 상관관계를 초월한 복잡한 특성 간 의존성을 포착하기 위해 순위 기반 거리 상관관계(RDC)를 사용한 비선형 상관관계 측정 방법을 제안한다.
• 기존 상호정보량 대신 훈련된 모델(예: 랜덤 포레스트)의 특성 기여도 점수를 사용해 모델 기반 관련성 측정 방법을 도입한다.
• mRMR 프레임워크를 확장하여 세 가지 변종을 도입한다: FCQ(모델 무관, 비선형 상관관계), RFCQ(랜덤 포레스트 기반 관련성), RFRQ(랜덤 포레스트 기반 관련성과 RDC 상관관계).
• 선택된 특성 간 상관관계를 최소화하면서 타겟에 대한 관련성을 최대화하는 탐욕적이고 반복적인 선택 과정을 적용한다.
• 스칼라 스파크를 활용해 데이터프레임과 RDD를 사용해 성능과 메모리 효율성을 확보함으로써 생산 파이프라인을 최적화한다.
• 대부분의 계산 부담을 줄이면서도 대표성을 유지하기 위해 특성 선택을 다운샘플링 이후에 적용한다.

실험 결과

연구 질문

• RQ1 마케팅 분류 작업에서 선형 상관관계 대비 비선형 상관관계(RDC를 통한)를 통합할 경우 특성 선택 성능이 향상되는가?
• RQ2 실제 마케팅 데이터셋에서 mRMR에 대해 상호정보량 대비 모델 기반 관련성(예: 랜덤 포레스트 기여도)은 어떻게 비교되는가?
• RQ3 다양한 마케팅 사용 사례에서 예측 성능(AUC)과 계산 효율성 사이의 최적의 트레이드오프를 달성하는 mRMR 변종은 FCQ, RFCQ, RFRQ 중 어느 것인가?
• RQ4 FCQ 방법은 저지연 요구 조건을 충족하는 생산 환경의 자동화된 머신러닝 플랫폼에서 효과적으로 확장되고 유지보수 가능한가?
• RQ5 실제 마케팅 캠페인에서 선택된 특성 선택 방법의 비즈니스 영향은 무엇인가?

주요 결과

• FCQ 버전은 다양한 분류 모델에서 뛰어난 성능을 보이며 높은 계산 효율성을 확보해 대규모 배포에 적합함을 입증했다.
• RFCQ 및 RFRQ 버전은 랜덤 포레스트 모델에 대해 최적의 결과를 도출했으며 다른 모델에서도 경쟁력 있는 성능을 보여 모델 기반 관련성의 효과를 입증했다.
• FCQ 방법은 스칼라 스파크를 사용해 우버의 생산 환경 머신러닝 플랫폼에 성공적으로 구현되었으며, 데이터프레임과 RDD의 최적화된 활용으로 런타임을 감소시켰다.
• FCQ 기반 모델을 사용한 온라인 실험에서 상위 60%의 확률 예측 사용자 그룹에서 기준 대비 12%의 추가적 신제품 채택률 증가(유의수준 p < 0.05)를 기록했다.
• 예측 전환 확률 상위 20% 그룹의 사용자들은 기준 대비 실제 채택률이 4배 높았으며, 이는 모델의 효과성을 확인하는 데 기여했다.
• 특성 선택 파이프라인은 모델 학습 및 추론 지연을 감소시키고, 특성 파이프라인 유지보수를 단순화하며, 모델 해석 가능성까지 향상시켰다.