[논문 리뷰] The Algorithms of Updating Sequential Patterns

Qingguo Zheng, Ke Xu외 2명|ArXiv.org|2002. 03. 27.

Data Mining Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 변화하는 시간적 데이터베이스에서 순차 패턴을 증분적으로 마이닝하기 위한 IUS 및 DUS 알고리즘을 제안한다. 빈도가 높은 시퀀스와 부정 경계 시퀀스를 활용하여 데이터 변화 시 패턴을 효율적으로 갱신하며, 부정 경계 임계값(Min_nbd_supp)이 계산 오버헤드를 제어함으로써 동적 데이터베이스에서 순차 패턴의 확장 가능한 유지보수를 달성한다.

ABSTRACT

Because the data being mined in the temporal database will evolve with time, many researchers have focused on the incremental mining of frequent sequences in temporal database. In this paper, we propose an algorithm called IUS, using the frequent and negative border sequences in the original database for incremental sequence mining. To deal with the case where some data need to be updated from the original database, we present an algorithm called DUS to maintain sequential patterns in the updated database. We also define the negative border sequence threshold: Min_nbd_supp to control the number of sequences in the negative border.

연구 동기 및 목표

• 시간이 지남에 따라 변화하는 시간적 데이터베이스에서 순차 패턴을 유지하는 데 도전하는 문제를 해결하기 위해.
• 데이터 업데이트 후 재마이닝 시 계산 비용을 줄이기 위해.
• 패턴 갱신 프로세스를 가속화하기 위해 부정 경계 시퀀스를 사용하는 메커니즘을 도입하기 위해.
• 크기를 제한하고 갱신 오버헤드를 제어하기 위해 임계값(Min_nbd_supp)을 정의하고 적용하기 위해.
• 빈번한 업데이트가 발생하는 동적 데이터 환경에서 실시간 또는 거의 실시간 순차 패턴 유지보수를 위한 확장 가능한 알고리즘 개발하기 위해.

제안 방법

• IUS 알고리즘은 원본 데이터베이스의 빈도가 높은 시퀀스와 부정 경계 시퀀스를 사용하여 전체 재마이닝 없이 순차 패턴을 증분적으로 갱신한다.
• DUS 알고리즘은 IUS를 확장하여 데이터 업데이트를 처리하며, 부정 경계 구조를 통해 영향을 받는 패턴을 식별한다.
• 부정 경계 시퀀스 임계값(Min_nbd_supp)을 도입하여 부정 경계에서 고려되는 시퀀스의 수를 제한함으로써 저장소 및 계산 부담을 줄인다.
• 알고리즘은 데이터 업데이트 후에 변경될 수 있는 시퀀스는 부정 경계 내의 시퀀스 또는 그 초월 시퀀스에 국한된다는 성질에 기반한다.
• 패턴 갱신은 부정 경계를 가지치기 수단으로 사용하여 이전 데이터베이스와 새로운 데이터베이스 간의 차이를 분석함으로써 계산된다.
• 변경이 발생할 수 있는 시퀀스에만 집중함으로써 업데이트된 데이터베이스의 전체 스캔을 피한다.

실험 결과

연구 질문

• RQ1 시간이 지남에 따라 변화하는 시간적 데이터베이스에서 데이터가 변화함에 따라 순차 패턴을 효율적으로 갱신할 수 있는가?
• RQ2 증분 패턴 갱신 과정에서 재계산를 최소화하는 데 부정 경계 시퀀스가 수행하는 역할은 무엇인가?
• RQ3 정확성과 성능의 균형을 유지하기 위해 부정 경계의 크기를 어떻게 제어할 수 있는가?
• RQ4 전체 재마이닝에 비해 증분 방법을 사용할 경우 순차 패턴 유지보수에 따른 계산 오버헤드는 어떻게 되는가?
• RQ5 제안된 알고리즘이 빈번한 업데이트가 발생하는 대규모 동적 데이터베이스에 확장 가능한가?

주요 결과

• IUS 및 DUS 알고리즘은 전체 재마이닝에 비해 순차 패턴 갱신에 드는 계산 비용을 크게 줄였다.
• 부정 경계 시퀀스의 사용은 데이터 업데이트 후 영향을 받는 패턴만 효율적으로 식별할 수 있게 해주었다.
• Min_nbd_supp 임계값은 부정 경계의 크기를 효과적으로 제한하여 저장소 및 처리 오버헤드를 줄였다.
• 데이터 업데이트 동안 빈도가 높은 시퀀스 집합의 정확성과 완전성을 유지하였다.
• 실험 결과는 증분 접근 방식이 데이터 볼륨과 업데이트 빈도 증가에 따라 잘 확장됨을 보여주었다.
• 변경되지 않은 데이터를 재처리하는 데 소요되는 비용이 줄어들었기 때문에 기존의 배치 마이닝에 비해 동적 환경에서 더 뛰어난 성능을 보였다.