[논문 리뷰] Market Segmentation Trees

Ali Aouad, Adam N. Elmachtoub외 2명|arXiv (Cornell University)|2019. 06. 04.

Consumer Market Behavior and Pricing인용 수 10

한 줄 요약

이 논문은 시장 세분화와 반응 모델링을 동시에 최적화하는 새로운 해석 가능한 프레임워크인 마켓 세그먼테이션 트리(MSTs)를 소개한다. 이는 예측 정확도를 극대화하는 의사결정 트리 분할을 통해 사용자를 반복적으로 분할함으로써 이루어지며, 기존의 클러스터링-반응 모델링 파ip라인에 비해 훨씬 적은 수의 세그먼트로도 뛰어난 예측 성능을 달성한다. CMTs를 통한 선택 모델링과 IRTs를 통한 입찰 랜드스케이프 예측에서 성능이 입증되었으며, 의사결정 트리의 구조 덕분에 계산 가능성과 해석 가능성도 유지된다.

ABSTRACT

We seek to provide an interpretable framework for segmenting users in a population for personalized decision-making. We propose a general methodology, Market Segmentation Trees (MSTs), for learning market segmentations explicitly driven by identifying differences in user response patterns. To demonstrate the versatility of our methodology, we design two new, specialized MST algorithms: (i) Choice Model Trees (CMTs), which can be used to predict a user's choice amongst multiple options and (ii) Isotonic Regression Trees (IRTs), which can be used to solve the bid landscape forecasting problem. We provide a theoretical analysis of the asymptotic running times of our algorithmic methods, which validates their computational tractability on large datasets. We also provide a customizable, open-source code base for training MSTs in Python which employs several strategies for scalability, including parallel processing and warm starts. Finally, we assess the practical performance of MSTs on several synthetic and real world datasets, showing that our method reliably finds market segmentations which accurately model response behavior.

연구 동기 및 목표

• 기존의 마켓 세그먼테이션 방법은 사용자 특성 유사도에 기반해 클러스터링을 수행하지만, 반응 행동을 고려하지 않아 개인화 성능이 열악한 점을 해결하기 위해.
• 마켓 세그먼테이션과 반응 모델링을 통합한 유일한 프레임워크를 개발하여 개인화 의사결정에서의 예측 정확도를 향상시키기 위해.
• 의사결정 트리로 마켓 세그먼트를 정의함으로써 설명 가능성을 확보하여 명확하고 인간이 읽을 수 있는 세그먼트 규칙을 제공하기 위해.
• 특히 입찰 랜드스케이프 예측과 선택 모델링에서 대규모 실세계 데이터셋에 대한 확장성과 효과성을 입증하기 위해.
• 실제 구현에 적합한 커스터마이징 가능하고 오픈소스로 제공되며, 병렬 처리 및 웜스타트 기능을 지원하는 구현을 제공하기 위해.

제안 방법

• MSTs는 맥락적 특성에 기반해 사용자를 마켓 세그먼트로 분할하기 위해 의사결정 트리의 분할을 반복적으로 적용하며, 각 분할은 후속 리프에 피팅된 반응 모델의 예측 정확도를 극대화하도록 선택된다.
• 학습 절차는 모든 세그먼트의 예측 성능을 종합하는 글로벌 목적함수를 최적화하여, 분할이 특성 유사도 외에도 사용자 반응 행동의 차이에 기반하도록 보장한다.
• 두 가지 특화된 MST 변형이 제안된다: 다중 선택 반응 예측을 위한 선택 모델 트리(CMTs)와 각 세그먼트에서 등순회 회귀 모델을 사용해 광고 입찰에서의 승리 확률을 예측하는 등순회 회귀 트리(IRTs).
• 알고리즘은 과적합을 방지하고 일반화 성능을 확보하기 위해 탐욕적이고 하향식 트리 구축 전략을 사용하며, 가지치기를 수행한다.
• 오픈소스 파이썬 구현은 대규모 데이터셋에서의 확장성을 향상시키기 위해 병렬 처리와 웜스타트를 지원한다.
• 이론적 분석을 통해 알고리즘의 渐近적 계산 복잡도는 온건한 조건 하에 트리 깊이에 비례하는 선형 복잡도를 가지며, 이는 대규모 데이터에서의 계산 가능성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 합성 및 실세계 데이터셋에서, 마켓 세그먼테이션과 반응 모델링을 동시에 최적화하는 프레임워크가 기존의 이중 단계 클러스터링-반응 모델링 접근법에 비해 예측 정확도에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 의사결정 트리 기반 세그먼테이션은 세그먼트 수를 줄이면서도 얼마나 높은 해석 가능성 향상을 이룰 수 있는가?
• RQ3 선택 모델링과 입찰 랜드스케이프 예측 분야에서 MST의 성능이 최신 기준 성능과 비교해 어떻게 되는가?
• RQ4 제안된 방법은 계산 가능성을 유지하면서도 대규모 실세계 데이터셋에 효과적으로 확장 가능한가?
• RQ5 입찰 랜드스케이프 예측에서 MST 내에서 등순회 회귀를 사용할 경우, 로지스틱 회귀와 같은 파rametric 대안보다 더 뛰어난 예측 성능을 낼 수 있는가?

주요 결과

• 등순회 회귀 트리(IRT) 모델은 세 개의 광고 교환에서 DSP의 기준 기반 접근법 대비 총 평균 제곱오차(MSE)에서 5–29% 향상되고 AUC에서 2–14% 향상된 성능을 기록했다.
• IRTs는 등순회 회귀 기준(Benchmark, IR)에 비해 MSE에서 7–13% 향상되고 AUC에서 7–15% 향상되었으며, IRKM에 비해 MSE에서 1–7% 향상되고 AUC에서 0.6–5% 향상되어, 감독 기반 세그먼테이션의 가치를 입증했다.
• 단지 10개의 마켓 세그먼트로도 IRTs는 최대 1,000개의 세그먼트를 사용하는 IRKM 모델의 성능을 맞추거나 초월했다. 이는 세그먼트 수의 효율성 향상을 보여준다.
• CMTs는 합성 및 실세계 데이터셋에서 정확한 마켓 세그먼테이션을 안정적으로 식별했으며, 모델 잘못 설정 문제를 극복하고 과적합에 대한 강건성을 보였다.
• 스위스메트로 데이터셋에서 CMTs는 일반 및 최신 기준 성능 모델들과 비교해 뛰어난 예측 성능을 달성했고, 해석 가능한 사용자 세그먼트 정의를 제공했다.
• 오픈소스 MST 구현은 대규모 데이터셋에서 계산 가능성을 입증했으며, 온건한 조건 하에 트리 깊이에 비례하는 渐近적 복잡도를 가짐을 보였다.