[논문 리뷰] Towards Target Sequential Rules

Wensheng Gan, Gengsen Huang외 3명|arXiv (Cornell University)|2022. 06. 09.

Data Mining Algorithms and Applications인용 수 4

한 줄 요약

이 논문은 사용자가 지정한 대상 이벤트와 관련된 순차 규칙만 효율적으로 발견하는 새로운 접근법인 대상 순차 규칙 탐색(TSRM)을 소개한다. 이로 인해 관련성이 없는 규칙의 폭발을 방지할 수 있다. 제안된 TaSRM 알고리즘은 대상에 맞는 가지치기 및 최적화 전략을 사용하여 다양한 쿼리 시나리오와 데이터셋에서 기준선 방법 대비 실행 시간, 메모리 사용량, 확장성 면에서 뛰어난 성능을 보인다.

ABSTRACT

In many real-world applications, sequential rule mining (SRM) can provide prediction and recommendation functions for a variety of services. It is an important technique of pattern mining to discover all valuable rules that belong to high-frequency and high-confidence sequential rules. Although several algorithms of SRM are proposed to solve various practical problems, there are no studies on target sequential rules. Targeted sequential rule mining aims at mining the interesting sequential rules that users focus on, thus avoiding the generation of other invalid and unnecessary rules. This approach can further improve the efficiency of users in analyzing rules and reduce the consumption of data resources. In this paper, we provide the relevant definitions of target sequential rule and formulate the problem of targeted sequential rule mining. Furthermore, we propose an efficient algorithm, called targeted sequential rule mining (TaSRM). Several pruning strategies and an optimization are introduced to improve the efficiency of TaSRM. Finally, a large number of experiments are conducted on different benchmarks, and we analyze the results in terms of their running time, memory consumption, and scalability, as well as query cases with different query rules. It is shown that the novel algorithm TaSRM and its variants can achieve better experimental performance compared to the existing baseline algorithm.

연구 동기 및 목표

• 대규모 데이터셋을 탐색할 때 기존 순차 규칙 탐색(SRM) 기법이 과도하게 많은 관련 없는 규칙을 생성하는 데 기인한 비효율성을 해결하기 위해.
• 사용자가 지정한 대상 이벤트에 초점을 맞춘 대상 순차 규칙 탐색(TSRM) 문제를 정의하고 체계화하기 위해.
• 사용자 정의 쿼리 규칙에 기반해 비관련 규칙을 조기에 제거하고 검색을 최적화하는 효율적인 알고리즘인 TaSRM을 설계하기 위해.
• 다양한 데이터 크기, 지지도 기준, 쿼리 패턴에서 TaSRM의 확장성과 성능을 평가하기 위해.
• 알고리즘의 확장성은 전체 데이터셋 크기보다는 대상 규칙의 수에 의해 결정됨을 입증하기 위해.

제안 방법

• 결과부에 사용자가 지정한 대상 이벤트가 포함된 대상 순차 규칙의 형식적 정의를 제안한다.
• 쿼리 규칙의 전건과 후건에 기반해 시퀀스와 규칙을 필터링함으로써 대상 탐색을 수행하는 TaSRM 알고리즘을 도입한다.
• 관련 있는 시퀀스만 저장하고 탐색할 수 있도록 최적화된 트리 구조(UTP)를 사용하여 메모리와 계산 자원을 절감한다.
• 쿼리 구조와 일치하지 않는 후보 규칙을 프로세스 초기 단계에서 조기에 제거하는 가지치기 전략을 적용한다.
• 다양한 쿼리 유형에 적합한 향상된 가지치기 및 최적화 기법을 갖춘 두 가지 변형인 TaSRM V2와 TaSRM V3를 도입한다.
• 최소 지지도(minsup)와 최소 신뢰도(minconf) 기준을 사용하지만, 계산은 오직 대상과 관련된 규칙에 국한한다.

실험 결과

연구 질문

• RQ1 사용자가 지정한 대상 이벤트와 관련된 규칙만 집중적으로 탐색할 수 있도록 순차 규칙 탐색을 어떻게 재구성할 수 있는가?
• RQ2 대상 규칙 탐색의 효율성을 향상시키기 위해 적용할 수 있는 가지치기 및 최적화 기법은 무엇인가?
• RQ3 TaSRM의 성능은 RuleGrowth 등의 기준선 알고리즘과 비교해 실행 시간, 메모리 사용량, 확장성 측면에서 어떻게 다를까?
• RQ4 예를 들어 전건만 지정되거나 후건만 지정된 쿼리와 같은 다양한 쿼리 패턴은 탐색 효율성에 어떤 영향을 미치는가?
• RQ5 데이터셋 크기보다는 대상 순차 규칙의 수가 알고리즘의 확장성 결정 요소인가?

주요 결과

• 모든 테스트 데이터셋에서 기준선인 RuleGrowth 알고리즘 대비 TaSRM 알고리즘 및 그 변형들이 실행 시간이 현저히 단축되고 메모리 소비가 낮아졌다.
• TaSRM V2와 TaSRM V3는 전건만 지정된 경우(99.03% 필터링 비율)와 같이 필터링 비율이 높은 쿼리 케이스에서 뛰어난 성능을 보였다.
• 낮은 필터링 비율(예: 후건만 지정된 경우)에서는 TaSRM V1이 비효율적인 가지치기로 인해 성능이 떨어졌지만, TaSRM V3는 TaSRM V2 대비 뚜렷한 향상을 보였다.
• TaSRM 변형의 실행 시간과 메모리 사용량은 전체 데이터셋 크기보다는 대상 순차 규칙의 수에 따라 주로 증가하여 강력한 확장성을 보였다.
• 최소 지지도를 낮추는 상황에서도 알고리즘이 높은 효율을 유지하여 저기준 탐색 환경에서의 강인함을 입증했다.
• 실험 결과, TaSRM의 성능은 다양한 실세계 데이터셋과 쿼리 패턴에서 안정적이고 효율적임을 확인했다.