[논문 리뷰] Frequent Patterns mining in time-sensitive Data Stream

Manel Zarrouk, Gouider, Med Salah|arXiv (Cornell University)|2012. 06. 05.

Data Mining Algorithms and Applications참고 문헌 19인용 수 5

한 줄 요약

이 논문은 시간에 민감한 데이터 스트림에서 빈번한 패턴을 추출하기 위한 새로운 접근법을 제안하며, 시간 정확도를 향상시키고 오래된 데이터를 동적으로 제거하기 위해 '진동점(Shaking Point)' 개념을 도입한다. 이 방법은 시간 인지적 정제를 통해 최신 상태의 아이템세트 빈도를 유지함으로써 기존 알고리즘을 개선하여 공간 및 시간 오버헤드를 감소시키면서도 변화하는 데이터 환경에서도 정확성을 유지한다.

ABSTRACT

Mining frequent itemsets through static Databases has been extensively studied and used and is always considered a highly challenging task. For this reason it is interesting to extend it to data streams field. In the streaming case, the frequent patterns' mining has much more information to track and much greater complexity to manage. Infrequent items can become frequent later on and hence cannot be ignored. The output structure needs to be dynamically incremented to reflect the evolution of itemset frequencies over time. In this paper, we study this problem and specifically the methodology of mining time-sensitive data streams. We tried to improve an existing algorithm by increasing the temporal accuracy and discarding the out-of-date data by adding a new concept called the "Shaking Point". We presented as well some experiments illustrating the time and space required.

연구 동기 및 목표

• 시간이 지남에 따라 빈도가 변화하는 동적이고 시간에 민감한 데이터 스트림에서 빈번한 패턴을 추출하는 데 도전하는 것.
• 기존 스트림 마이닝 알고리즘을 개선하여 시간 해상도를 향상시키고 오래된 데이터의 저장을 줄이는 것.
• 오래된 데이터를 효율적으로 식별하고 제거하는 새로운 시간 기반 정제 메커니즘인 '진동점(Shaking Point)'을 도입하는 것.
• 실시간 데이터 처리 환경에서 정확하고 최신 상태의 빈번한 패턴 탐지를 유지하는 것.
• 스트리밍 빈번한 패턴 마이닝에서 시간, 공간 효율성과 패턴 정확도 간의 상호 상충 관계를 평가하는 것.

제안 방법

• 제안된 방법은 데이터 항목이나 아이템세트가 오래되어 더 이상 유효하지 않을 때를 판단하기 위해 시간 기반 임계값으로서 '진동점(Shaking Point)'을 도입한다.
• 시간스탬프를 추적하고 진동점을 적용하여 최근 데이터의 슬라이딩 윈도우를 동적으로 유지한다.
• 도착하는 데이터에 기반해 아이템세트의 빈도 수를 점진적으로 갱신함으로써 실시간 반응성을 확보한다.
• 진동점 이외의 데이터를 저장하지 않음으로써 시간 정확도를 향상시키고 메모리 사용량을 줄인다.
• 후보 생성 및 지지도수 계산 단계에 시간 인지 필터링을 통합한다.
• 실시간 데이터 스트림 행동의 변화를 반영하여 빈번한 패턴 세트에 대한 증분 업데이트를 지원한다.

실험 결과

연구 질문

• RQ1 데이터 스트림에서의 빈번한 패턴 마이닝을 어떻게 더 높은 시간 정확도로 개선할 수 있는가?
• RQ2 공간 오버헤드를 줄이기 위해 효과적으로 오래된 데이터를 식별하고 제거할 수 있는 메커니즘은 무엇인가?
• RQ3 진동점(Shaking Point) 개념의 도입이 스트림 패턴 마이닝의 효율성과 정확도에 어떻게 기여하는가?
• RQ4 시간 민감한 데이터 스트림 마이닝에서 시간 정밀도와 계산 자원 간의 상호 상충 관계는 어떻게 되는가?
• RQ5 오래된 데이터를 동적으로 정제함으로써 패턴 무결성을 유지하면서 메모리 소비를 줄일 수 있는가?

주요 결과

• 진동점 메커니즘이 패턴 정확도를 훼손하지 않으면서도 오래된 데이터를 제거함으로써 메모리 사용량을 성공적으로 감소시켰다.
• 기존 알고리즘 대비 데이터 처리 오버헤드가 감소함으로써 시간 효율성이 향상됨을 입증하였다.
• 알고리즘은 고해상도 시간 정확도를 유지하여 데이터의 변화에 따라 빈번한 패턴을 거의 실시간으로 갱신할 수 있었다.
• 실험 결과, 특히 고속도 데이터 스트림에서 공간 복잡도가 유의미하게 감소한 것으로 나타났다.
• 정확도와 성능 간의 균형을 확보하여 시간이 중요한 응용 분야에 적합한 것으로 확인되었다.
• 빠르게 변화하는 데이터를 포함한 동적 환경에서 전통적인 정적 또는 고정 윈도우 방법보다 성능이 뛰어났다.