[論文レビュー] Dichotomic Pattern Mining with Applications to Intent Prediction from Semi-Structured Clickstream Datasets

Xin Wang, Serdar Kadıoğlu|arXiv (Cornell University)|Jan 23, 2022

Data Mining Algorithms and Applications被引用数 6

ひとこと要約

本稿では、半構造化クリックストリームデータから解釈可能で頻出する順序パターンを抽出する制約ベースのアプローチ、Dichotomic Pattern Miningを提案する。正例と負例のグループにシーケンスを分割し、一意で制約フィルタリングされたパターンをマイニングすることで、高い性能を発揮する人間が読み取り可能な特徴埋め込みを生成し、下流の機械学習モデルの性能を向上させる一方で解釈可能性を維持する。手動による特徴工学を必要とせず、最先端のF1スコアを達成した。

ABSTRACT

We introduce a pattern mining framework that operates on semi-structured datasets and exploits the dichotomy between outcomes. Our approach takes advantage of constraint reasoning to find sequential patterns that occur frequently and exhibit desired properties. This allows the creation of novel pattern embeddings that are useful for knowledge extraction and predictive modeling. Finally, we present an application on customer intent prediction from digital clickstream data. Overall, we show that pattern embeddings play an integrator role between semi-structured data and machine learning models, improve the performance of the downstream task and retain interpretability.

研究の動機と目的

• 半構造化クリックストリームデータから意味的で解釈可能なパターンを抽出し、下流の予測タスクに活用する課題に対処すること。
• 順序行動から導出されたパターンベースの埋め込みによって、手作業による特徴設計を置き換えることで、意図予測における特徴工学の自動化を図ること。
• 制約推論とパターンマイニングを活用することで、解釈可能性を保ちながらも、顧客の意図予測におけるモデル性能を向上させること。
• 順序データと機械学習モデルの間の有効な統合手段として、パターン埋め込みが機能することを実証すること。

提案手法

• 本手法は、二値ラベル（例：購入 vs. 購入なし）に基づいて、シーケンスデータベースを正例群と負例群に二分類する。
• 両群に対して、ユーザーが定義した制約（例：滞在時間、価格帯）の下で制約ベースの順序パターンマイニング（CSPM）を独立して適用し、頻出パターンを同定する。
• 各群で固有のパターン（Pos_unique、Neg_unique）と共通のパターン（PN_union）を特定することで、行動の特徴的な差を強調する。
• 得られたパターン集合を、LightGBM や浅いニューラルネットワーク、LSTM などの下流機械学習モデルの特徴埋め込みとして利用する。
• 自動パターン生成に Seq2Pat を使用し、SHAP値を活用して特徴の重要度を解釈し、上位レベルのインサイトを抽出する。
• 制約を適用することで、不要またはノイズの多いパターンをフィルタリングし、探索空間を縮小するとともに、発見されたパターンの関連性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 制約ベースの順序パターンマイニングは、半構造化クリックストリームデータから解釈可能で高影響力のある行動パターンを効果的に抽出できるか？
• RQ2 二分類マイニングから得られるパターン埋め込みは、意図予測のパフォーマンスにおいて、手作業による特徴と比べてどのように異なるか？
• RQ3 パターンベースの特徴は、LightGBM や浅いニューラルネットワーク、LSTM といった多様な機械学習モデルの性能をどの程度向上させるか？
• RQ4 得られたパターン埋め込みは、自動的かつスケーラブルな特徴生成を可能にしつつ、解釈可能性を維持できるか？
• RQ5 データセット内で最も予測力の高いパターンから、どのような上位レベルの行動的シグナルを抽出できるか？

主な発見

• Seq2Pat が生成したパターン埋め込みは、手作業による特徴を用いた基準研究と同等の F1 スコアを達成し、特徴工学の自動化が有効であることを示した。
• Seq2Pat 特徴でファインチューニングされた LSTM モデル（LSTM_Seq2Pat）が最高の F1 スコアと AUC を記録し、パターンベースの特徴拡張による顕著なパフォーマンス向上を示した。
• 予測力が最も高いパターン ⟨3,1,1⟩ は、商品をカートに追加する行動に対応しており、購入意図と強い相関があることを裏付けた。
• 繰り返しのページ閲覧（⟨1,1,1,1,1,1,1⟩）と特定商品の閲覧（⟨2,1,1,1⟩）は、購入意図と正の相関を示したが、広範な探索行動（⟨1,1,2,1,2⟩）は負の相関を示した。
• 商品を削除してから複数のページを閲覧するパターン ⟨4,1,1⟩ は、強い正の予測要因であった。これは、ターゲティングプロモーションの機会を逃している可能性を示唆した。
• 検索操作（⟨6⟩）は予測にほとんど影響を及ぼさず、検索システムの品質と関連性に懸念を呈した。