[論文レビュー] Maximum likelihood estimation of a finite mixture of logistic regression models in a continuous data stream

Maurits Kaptein, P.E. Ketelaar|arXiv (Cornell University)|Feb 28, 2018

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

本稿では、連続するデータストリームからリアルタイムで顧客をクラスタリングすることを目的とした、有限混合ロジスティック回帰モデルのオンライン最尤推定法oFMLRを提案する。EMアルゴリズムをストリーミングデータに適応させることで、クリックスルーベースの二値応答（例：クリック行動）の解釈可能でスケーラブルなセグメンテーションを実現し、高速なマーケティングデータ環境において計算効率とモデルの解釈可能性を両立する。

ABSTRACT

In marketing we are often confronted with a continuous stream of responses to marketing messages. Such streaming data provide invaluable information regarding message effectiveness and segmentation. However, streaming data are hard to analyze using conventional methods: their high volume and the fact that they are continuously augmented means that it takes considerable time to analyze them. We propose a method for estimating a finite mixture of logistic regression models which can be used to cluster customers based on a continuous stream of responses. This method, which we coin oFMLR, allows segments to be identified in data streams or extremely large static datasets. Contrary to black box algorithms, oFMLR provides model estimates that are directly interpretable. We first introduce oFMLR, explaining in passing general topics such as online estimation and the EM algorithm, making this paper a high level overview of possible methods of dealing with large data streams in marketing practice. Next, we discuss model convergence, identifiability, and relations to alternative, Bayesian, methods; we also identify more general issues that arise from dealing with continuously augmented data sets. Finally, we introduce the oFMLR [R] package and evaluate the method by numerical simulation and by analyzing a large customer clickstream dataset.

研究の動機と目的

• 計算的・時間的制約により、従来のバッチ手法が対応に苦慮する高速度・大量のマーケティングクリックストリームデータを分析する課題に対処すること。
• 連続するデータストリームに適した、二値応答（例：クリック）に基づく顧客のリアルタイムクラスタリングを可能にする手法の開発。
• ロジスティック回帰の明確な枠組みを活用することで、ブラックボックスな機械学習手法とは異なり、解釈可能なモデルを提供すること。
• オンライン推定により継続的なモデル更新とポリシーの適応を可能とし、動的マーケティング意思決定を支援すること。
• 実務家やマーケティング研究者がリアルワールドのデータストリーム解析に活用できる実用的でオープンソースのRパッケージ（oFMLR）の提供。

提案手法

• 新しいデータポイントが到着する度に逐次的にモデルパラメータを更新するオンライン（ストリーミング）推定に合わせ、期待値最大化（EM）アルゴリズムを適応する。
• スチュアティック勾配降下法（SGD）の原則を用いてEMのMステップを近似し、全データセットの再処理なしに効率的なパラメータ更新を実現する。
• 学習率スケジュールを導入することで、古いデータを「忘れる」機構を実現し、非ステーショナリティを示すデータストリームへの適応を支援する。
• ストリーミング推定中のモデル安定性を監視するため、対数尤度のオンライン移動平均（式15）を収束診断として適用する。
• パラメータ推定の不確実性を定量化し、モデルのロバストネスを評価するために、オンラインブートストラップ法（例：Owen & Eckles, 2012）を実装する。
• 複数回の実行を通じたモデル選択を実施し、成分数（K）を異なる値に設定。情報量規準や尤度に基づく診断を用いて最適なセグメンテーションを同定する。

実験結果

リサーチクエスチョン

• RQ1 有限混合ロジスティック回帰モデルを、ストリーミング形式で効果的にオンライン推定可能か？　→ リアルタイム顧客セグメンテーションを支援できるか？
• RQ2 oFMLR（オンラインEMアルゴリズム）の性能は、バッチ推定と比較して収束性・精度・計算効率の点でどのように異なるか？
• RQ3 oFMLRは、分野特有の仮定に依存せずに、高速度のクリックストリームデータにおいて意味のある解釈可能な顧客セグメントを同定できるか？
• RQ4 混合モデルのオンライン推定において、収束性とモデル安定性を監視するのに有効な診断ツールは何か？
• RQ5 オンライン環境下で、モデルパラメータおよびクラスターラベルの不確実性をどのように定量化できるか？　→ 責任あるモデル解釈を支援するには？

主な発見

• oFMLR手法は、連続するデータストリーム上で有限混合ロジスティック回帰モデルのリアルタイム推定を成功裏に実現し、バッチ手法と比較して計算時間を顕著に短縮した。
• 数値シミュレーションにより、oFMLRがバッチEMで得られる推定値に近いパラメータ推定に収束することが確認され、制御された条件下での正確性が裏付けられた。
• ロジスティック回帰のコンポonentに依存することで、解釈可能性が維持され、研究者はセグメント固有の効果や共変数の影響を直接解釈できる。
• モデルの収束性と安定性は初期パラメータ値や学習率の選択に敏感であることが判明し、慎重な初期化と診断監視の重要性が強調された。
• 対数尤度のオンライン移動平均は、ストリーミング推定中の収束診断として有効であり、安定した値が観測されればモデル収束を示す。
• 大規模なクリックストリームデータセットを用いた実証分析により、oFMLRが明確に異なる顧客反応パターンを同定できることを確認し、マーケティングポリシーに役立つセグメンテーションを支援した。