[논문 리뷰] Maximum likelihood estimation of a finite mixture of logistic regression models in a continuous data stream

Maurits Kaptein, P.E. Ketelaar|arXiv (Cornell University)|2018. 02. 28.

Bayesian Methods and Mixture Models인용 수 4

한 줄 요약

이 논문은 실시간 연속 데이터 스트림에서 고객을 클러스터링하기 위해 고안된 유한 혼합 로지스틱 회귀 모델에 대한 온라인 최대우도추정법(oFMLR)을 제안한다. EM 알고리즘을 스트리밍 데이터에 적응시킴으로써 oFMLR는 이진 반응(예: 클릭률 행동)의 해석 가능하고 확장 가능한 세분화를 가능하게 하며, 고속도 마케팅 데이터 환경에서 계산 효율성과 모델의 해석 가능성도 유지한다.

ABSTRACT

In marketing we are often confronted with a continuous stream of responses to marketing messages. Such streaming data provide invaluable information regarding message effectiveness and segmentation. However, streaming data are hard to analyze using conventional methods: their high volume and the fact that they are continuously augmented means that it takes considerable time to analyze them. We propose a method for estimating a finite mixture of logistic regression models which can be used to cluster customers based on a continuous stream of responses. This method, which we coin oFMLR, allows segments to be identified in data streams or extremely large static datasets. Contrary to black box algorithms, oFMLR provides model estimates that are directly interpretable. We first introduce oFMLR, explaining in passing general topics such as online estimation and the EM algorithm, making this paper a high level overview of possible methods of dealing with large data streams in marketing practice. Next, we discuss model convergence, identifiability, and relations to alternative, Bayesian, methods; we also identify more general issues that arise from dealing with continuously augmented data sets. Finally, we introduce the oFMLR [R] package and evaluate the method by numerical simulation and by analyzing a large customer clickstream dataset.

연구 동기 및 목표

• 고속도로, 대량의 고객 클릭스트림 데이터를 분석하는 데 도전하는 문제를 다루며, 기존 배치 처리 방법이 계산 및 시간 제약으로 인해 이를 처리하기 어려운 점을 해결한다.
• 이진 반응(예: 클릭) 기반의 실시간 고객 클러스터링을 가능하게 하는 방법을 개발하여, 연속적인 데이터 스트림에 적합한 유한 혼합 모델을 사용한다.
• 로지스틱 회귀의 잘 알려진 프레임워크를 활용함으로써 블랙박스 기계학습 방법과는 달리 모델의 해석 가능성을 유지한다.
• 온라인 추정을 통해 지속적인 모델 업데이트와 정책 적응을 가능하게 하여, 동적인 마케팅 의사결정을 지원한다.
• 실제 마케팅 연구자와 전문가가 실세계의 데이터 스트림 분석에 쉽게 활용할 수 있도록 실용적이고 오픈소스인 R 패키지(oFMLR)를 제공한다.

제안 방법

• 신규 데이터 포인트가 도착함에 따라 모델 파라미터를 점진적으로 업데이트하는 방식으로, 온라인 또는 스트리밍 추정을 위한 기대치-최대화(EM) 알고리즘을 적응시킨다.
• 전체 데이터셋을 다시 처리하지 않고도 효율적인 파라미터 업데이트를 가능하게 하기 위해, M단계를 근사하기 위해 확률적 경사하강법(SGD) 원리를 사용한다.
• 모델이 오래된 데이터를 '잊도록' 하기 위해, 학습률 스케줄을 구현하여 비정상적인 데이터 스트림에 적응할 수 있도록 한다.
• 스트리밍 추정 중 모델 안정성을 모니터링하기 위해, 로그우도의 온라인 이동평균(식 15)을 사용한다.
• 추정된 파라미터의 불확실성을 정량화하고 모델의 강건성을 평가하기 위해, 온라인 부트스트래핑 방법(예: Owen & Eckles, 2012)을 적용한다.
• 다양한 구성 요소 수(K)로 여러 번의 실행을 통해 모델 선택을 통합하고, 정보 기준 또는 우도 기반 진단을 사용하여 최적의 세분화를 식별한다.

실험 결과

연구 질문

• RQ1 유한 혼합 로지스틱 회귀 모델이 스트리밍 방식으로 효과적으로 추정될 수 있는가? 이를 통해 실시간 고객 세분화가 가능한가?
• RQ2 oFMLR의 온라인 EM 알고리즘이 스트리밍 데이터에서 수렴성, 정확도, 계산 효율성 측면에서 배치 추정과 비교해 어떻게 성능을 내는가?
• RQ3 oFMLR는 도메인 특화 가정 없이 고속도 클릭스트림 데이터에서 의미 있는, 해석 가능한 고객 세그먼트를 얼마나 잘 식별할 수 있는가?
• RQ4 혼합 모델의 온라인 추정 중 수렴성과 모델 안정성을 모니터링하는 데 효과적인 진단 도구는 무엇인가?
• RQ5 온라인 환경에서 모델 파라미터와 클러스터 할당의 불확실성을 어떻게 정량화할 수 있는가? 이를 통해 책임감 있는 모델 해석을 지원할 수 있는가?

주요 결과

• oFMLR 방법은 연속적인 데이터 스트림에서 유한 혼합 로지스틱 회귀 모델을 실시간으로 추정하는 데 성공적으로 기여하며, 배치 방법 대비 계산 시간을 크게 줄였다.
• 수치 시뮬레이션을 통해 oFMLR가 배치 EM로 얻은 추정치에 매우 가까운 파라미터 추정치로 수렴하는 것으로 나타나, 통제된 조건 하에서 정확성이 검증되었다.
• 로지스틱 회귀 구성 요소에 기반함으로써 모델의 해석 가능성을 유지하여 연구자가 세그먼트별 영향력과 공변량 영향을 직접 해석할 수 있다.
• 모델 수렴성과 안정성은 초기 파라미터 값과 학습률 선택에 민감하므로, 신중한 초기화와 진단 모니터링의 필요성을 강조한다.
• 로그우도의 온라인 이동평균는 수렴 진단으로서 매우 유용한 도구로 기능하며, 안정된 값은 스트리밍 추정 중 모델 수렴을 나타낸다.
• 대규모 클릭스트림 데이터셋에 대한 실증 분석은 oFMLR가 고유한 고객 반응 패턴을 식별할 수 있음을 확인하며, 마케팅 정책에 실질적인 세분화를 지원한다.