[논문 리뷰] Dichotomic Pattern Mining with Applications to Intent Prediction from Semi-Structured Clickstream Datasets

Xin Wang, Serdar Kadıoğlu|arXiv (Cornell University)|2022. 01. 23.

Data Mining Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 의도 예측을 위해 반구조적 클릭스트림 데이터에서 해석 가능한 빈도 높은 순차 패턴을 약속 기반 접근 방식으로 추출하는 '이분 패턴 마이닝'을 제안한다. 이는 시퀀스를 구매 여부와 같은 이진 레이블에 따라 긍정 및 부정 결과 그룹으로 분할하고, 고유한 약속 필터링 패턴을 추출함으로써 고성능이며 인간이 이해할 수 있는 특징 임베딩을 생성한다. 이는 수동 특징 공학 없이도 하류 기계 학습 모델의 성능을 향상시키면서도 해석 가능성을 유지하며, 최신 기술 수준의 F1 스코어를 달성한다.

ABSTRACT

We introduce a pattern mining framework that operates on semi-structured datasets and exploits the dichotomy between outcomes. Our approach takes advantage of constraint reasoning to find sequential patterns that occur frequently and exhibit desired properties. This allows the creation of novel pattern embeddings that are useful for knowledge extraction and predictive modeling. Finally, we present an application on customer intent prediction from digital clickstream data. Overall, we show that pattern embeddings play an integrator role between semi-structured data and machine learning models, improve the performance of the downstream task and retain interpretability.

연구 동기 및 목표

• 반구조적 클릭스트림 데이터에서 의미 있고 해석 가능한 패턴을 추출하여 하류 예측 작업에 활용하는 데 도전하는 것.
• 수동으로 설계된 특징을 순차적 행동에서 유도된 패턴 기반 임베딩으로 대체함으로써 의도 예측에서 특징 공학을 자동화하는 것.
• 약속 추론과 패턴 마이닝을 통해 해석 가능성을 유지하면서도 모델 성능을 향상시키는 것.
• 패턴 임베딩이 순차 데이터와 기계 학습 모델 간의 효과적인 통합자로 작용할 수 있음을 보여주는 것.

제안 방법

• 이 방법은 이진 레이블(예: 구매 vs. 비구매)에 기반해 시퀀스 데이터베이스를 긍정 및 부정 결과 그룹으로 이분한다.
• 양쪽 그룹에 대해 독립적으로 약속 기반 순차 패턴 마이닝(CSPM)을 적용하여 사용자가 정의한 약속(예: 소비 시간, 가격 범위) 하에 빈도 높은 패턴을 찾는다.
• 각 그룹에서 고유한 패턴(예: Pos_unique, Neg_unique)과 공통 패턴(PN_union)을 식별하여 행동 서명의 차이를 부각시킨다.
• 결과로 도출된 패턴 집합은 LightGBM, 얕은 신경망, LSTMs와 같은 하류 기계 학습 모델의 특징 임베딩으로 사용된다.
• 자동 패턴 생성을 위해 Seq2Pat를 활용하고, SHAP 값은 특징 중요도를 해석하고 고수준 통찰을 도출하는 데 사용된다.
• 약속을 적용하여 관련성이 없는 또는 노이즈가 많은 패턴을 걸러내어 검색 공간을 축소하고 발견된 패턴의 관련성을 향상시킨다.

실험 결과

연구 질문

• RQ1 약속 기반 순차 패턴 마이닝은 반구조적 클릭스트림 데이터에서 해석 가능하고 영향력 있는 행동 패턴을 효과적으로 추출할 수 있는가?
• RQ2 이분 마이닝에서 유도된 패턴 임베딩은 의도 예측 성능에서 수동으로 설계된 특징과 비교해 어떻게 성능을 내는가?
• RQ3 패턴 기반 특징은 LightGBM, 얕은 신경망, LSTMs와 같은 다양한 기계 학습 모델의 성능을 어느 정도 향상시키는가?
• RQ4 결과로 도출된 패턴 임베딩은 자동화되고 확장 가능한 특징 생성을 가능하게 하면서도 해석 가능성을 유지할 수 있는가?
• RQ5 데이터셋에서 가장 예측력 있는 패턴들에서 어떤 고수준 행동 신호를 추출할 수 있는가?

주요 결과

• Seq2Pat가 생성한 패턴 임베딩은 수동으로 설계된 특징을 사용한 기준 연구와 비교해 유사한 F1 스코어를 달성하여 특징 공학의 자동화가 효과적임을 입증한다.
• Seq2Pat 특징로 미세 조정한 LSTM 모델(LSTM_Seq2Pat)이 가장 높은 F1 스코어와 AUC를 기록하여 패턴 기반 특징 증강이 강력한 성능 향상을 이끌어냈다.
• 가장 예측력 있는 패턴 ⟨3,1,1⟩은 제품을 장바구니에 담는 행동을 의미하며, 이는 구매 의도와 강한 상관관계를 가짐을 확인했다.
• 반복적인 페이지 조회(⟨1,1,1,1,1,1,1⟩)와 특정 제품 조회(⟨2,1,1,1⟩)는 모두 구매 의도와 정적 상관관계를 보였고, 광범위한 탐색(⟨1,1,2,1,2⟩)은 부정적 상관관계를 보였다.
• 제품을 제거한 후 여러 페이지를 둘러보는 패턴 ⟨4,1,1⟩은 강력한 긍정적 예측자였으며, 타겟 마케팅 프로모션의 기회를 놓친 것으로 나타났다.
• 검색 행동(⟨6⟩)은 예측에 거의 영향을 주지 않아 검색 시스템의 품질과 관련성에 대한 우려를 제기한다.