[논문 리뷰] TaSPM: Targeted Sequential Pattern Mining

Gengsen Huang, Wensheng Gan외 1명|arXiv (Cornell University)|2022. 02. 26.

Data Mining Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 사용자가 정의한 쿼리 시퀀스에 초점을 맞춰 패턴 탐색을 가속화하는 일반적인 프레임워크인 TaSPM을 제안한다. CM-SPAM 기반으로 개발된 TaSPM은 네 가지 가지치기 전략을 활용해 관련이 없는 패턴 확장을 제거하여 다양한 데이터셋과 쿼리 유형에서 기준선 방법보다 빠른 런타임과 낮은 메모리 사용량을 달성한다.

ABSTRACT

Sequential pattern mining (SPM) is an important technique of pattern mining, which has many applications in reality. Although many efficient sequential pattern mining algorithms have been proposed, there are few studies can focus on target sequences. Targeted querying sequential patterns can not only reduce the number of sequences generated by SPM, but also improve the efficiency of users in performing pattern analysis. The current algorithms available on targeted sequence querying are based on specific scenarios and cannot be generalized to other applications. In this paper, we formulate the problem of targeted sequential pattern mining and propose a generic framework namely TaSPM, based on the fast CM-SPAM algorithm. What's more, to improve the efficiency of TaSPM on large-scale datasets and multiple-items-based sequence datasets, we propose several pruning strategies to reduce meaningless operations in mining processes. Totally four pruning strategies are designed in TaSPM, and hence it can terminate unnecessary pattern extensions quickly and achieve better performance. Finally, we conduct extensive experiments on different datasets to compare the existing SPM algorithms with TaSPM. Experiments show that the novel targeted mining algorithm TaSPM can achieve faster running time and less memory consumption.

연구 동기 및 목표

• 전통적인 순차 패턴 마이닝(SPM)이 과도하게 많은 무관한 패턴을 생성하는 데서 비효율성을 해결하기 위해 사용자가 지정한 타겟 시퀀스에 초점을 맞춘다.
• 다양한 도메인에 적용 가능한 일반적이고 확장 가능한 타겟팅 순차 패턴 마이닝 프레임워크를 개발한다.
• 마이닝 과정에서 의미 없는 패턴 확장을 제거하여 계산 오버헤드와 메모리 소비를 줄인다.
• 대규모 거래 데이터에서 단일 항목 및 다중 항목 타겟 시퀀스에 대한 쿼리 효율성을 향상시킨다.
• 기존의 SPM 알고리즘인 CM-SPAM보다 런타임과 메모리 사용량에서 뛰어난 성능을 보이는 확장 가능한 솔루션을 제공한다.

제안 방법

• TaSPM은 빠른 CM-SPAM 알고리즘의 확장으로, 효율적인 패턴 생성 메커니즘을 활용한다.
• 마이닝 과정의 초기 단계에서 무망한 패턴 확장을 조기에 제거하기 위해 네 가지 가지치기 전략을 도입한다.
• 타겟 쿼리 시퀀스를 기반으로 가지치기가 적용되어, 유의미한 하위 패턴만 탐색된다.
• 후처리 기법을 통해 발견된 패턴이 사용자가 지정한 구조적 및 순서 제약 조건을 충족함을 보장한다.
• I-Extension 및 S-Extension 쿼리 모두를 지원하여 영역에 따라 다양한 패턴 탐색이 가능하다.
• 개선된 가지치기 및 데이터 구조 관리로 메모리 사용량과 런타임을 최적화한 TaSPM V2는 개선된 버전이다.

실험 결과

연구 질문

• RQ1 사용자가 정의한 타겟 시퀀스에 초점을 맞춤으로써 기존의 모든 빈번한 패턴을 마이닝하는 방식이 아닌, 순차 패턴 마이닝의 효율성을 어떻게 높일 수 있는가?
• RQ2 타겟 마이닝 과정에서 의미 없는 패턴 확장을 효과적으로 줄일 수 있는 가지치기 전략은 무엇인가?
• RQ3 다양한 데이터셋에서 기준선 SPM 알고리즘인 CM-SPAM과 비교해 TaSPM의 런타임과 메모리 소비는 어떻게 성능을 내는가?
• RQ4 단일 항목 및 다중 항목 시퀀스를 포함한 다양한 쿼리 시퀀스 유형에서 TaSPM의 성능은 어떻게 변화하는가?
• RQ5 데이터셋 크기 증가와 다양한 최소 지원 임계값에 따라 TaSPM의 확장성은 어떻게 되는가?

주요 결과

• TaSPM V2는 대규모 및 다중 항목 기반 데이터셋에서 CM-SPAM보다 뚜렷이 더 빠른 런타임을 기록한다.
• TaSPM V2의 메모리 소비는 항상 CM-SPAM보다 낮으며, 합성 및 실세계 데이터셋에서 최대 몇 배까지 감소한다.
• Accidents10k 및 Bible 데이터셋에서, TaSPM V2는 최소 지원 임계값(minsup)이 변하더라도 안정적인 메모리 사용량을 유지하여 강건성을 보였다.
• 쿼리 시퀀스 길이가 증가함에 따라 TaSPM V2는 런타임이 감소하는 반면, TaSPM V1은 비교적 변화가 없어 V2가 더 뛰어난 확장성을 보였다.
• 확장성 실험 결과, TaSPM V1과 V2는 데이터셋 크기에 민감도가 낮아 CM-SPAM보다 더 낮은 민감도를 보였으며, 이는 성능이 총 데이터 볼륨이 아닌 타겟 패턴 수에 의존하기 때문이다.
• Syn10k 데이터셋에서 최소 지원 임계값을 5로 낮추었을 때 CM-SPAM은 패턴을 발견하지 못했지만, TaSPM V2는 성공적으로 작업을 완료하여 훨씬 뛰어난 강건성을 입증했다.