[논문 리뷰] Significant Interval and Frequent Pattern Discovery in Web Log Data

Kanak Saxena, Rahul Shukla|arXiv (Cornell University)|2010. 02. 05.

Data Mining Algorithms and Applications참고 문헌 11인용 수 14

한 줄 요약

이 논문은 웹 로그 데이터에서 빈번한 패턴과 의미 있는 간격을 발견하기 위한 새로운 접근법을 제안한다. 일회성 빈번한 에피소드 발견(FED) 알고리즘을 사용하여, 주기성(예: 일일, 주간)에 따라 시계열 데이터를 접어 넣음으로써 사용자가 지정한 최소 신뢰도와 최대 길이 기준으로 의미 있는 간격을 식별한다. 이를 통해 타겟 광고 응용을 위한 사용자 행동 예측과 웹사이트 관심도 예측이 정확해진다.

ABSTRACT

There is a considerable body of work on sequence mining of Web Log Data. We are using One Pass frequent Episode discovery (or FED) algorithm, takes a different approach than the traditional apriori class of pattern detection algorithms. In this approach significant intervals for each Website are computed first (independently) and these interval used for detecting frequent patterns/Episode and then the Analysis is performed on Significant Intervals and frequent patterns That can be used to forecast the user's behavior using previous trends and this can be also used for advertising purpose. This type of applications predicts the Website interest. In this approach, time-series data are folded over a periodicity (day, week, etc.) Which are used to form the Interval? Significant intervals are discovered from these time points that satisfy the criteria of minimum confidence and maximum interval length specified by the user.

연구 동기 및 목표

• 웹 로그 데이터에서 빈번한 패턴을 추출하는 데 있어 전통적인 아파리 기반 알고리즘의 한계를 해결하기 위해.
• 주기적인 웹 액세스 패턴에서 유도된 의미 있는 시간 간격에 초점을 맞춤으로써 사용자 행동 예측의 정확도를 향상시키기 위해.
• 반복적인 사용자 관심 패턴을 식별함으로써 개인 맞춤 광고와 같은 실용적 응용을 가능하게 하기 위해.
• 패턴 추출 이전에 각 웹사이트별로 독립적으로 의미 있는 간격을 계산하는 방법을 도입함으로써 관련성과 효율성을 향상시키기 위해.
• 의미 있는 간격과 빈번한 에피소드에서 추출한 역학적 추세를 활용하여 사용자 행동 예측을 지원하기 위해.

제안 방법

• 방법은 원시 웹 로그 시계열 데이터를 선택한 주기성(예: 일일 또는 주간 주기)에 따라 접는 것으로 시작한다.
• 접힌 시계열 데이터를 분석하여 사용자가 정의한 최소 신뢰도 및 최대 길이 제약 조건을 만족하는 세그먼트를 식별함으로써 의미 있는 간격을 발견한다.
• 의미 있는 간격에 대해 일회성 빈번한 에피소드 발견(FED) 알고리즘을 적용하여 빈번한 패턴 또는 에피소드를 추출한다.
• FED 알고리즘은 단일 패assing으로 데이터를 처리하므로 기존 아파리 스타일의 방법보다 계산 효율성이 뛰어나다.
• 결과로 도출된 빈번한 패턴을 분석하여 사용자 행동 추세와 웹사이트 관심 패턴을 유추한다.
• 이러한 접근은 의미 있는 시간 패턴을 기반으로 한 사용자 관심도 예측 및 타겟 광고와 같은 후속 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미 있는 사용자 액세스 패턴을 반영하기 위해 웹 로그 데이터에서 의미 있는 시간 간격을 자동으로 어떻게 식별할 수 있는가?
• RQ2 시계열 데이터의 주기적 접기 방식이 의미 있는 간격 식별에 미치는 영향은 무엇인가?
• RQ3 일회성 FED 알고리즘이 기존 아파리 기반 방법과 비교해 효율성과 패턴 식별 정확도 측면에서 어떻게 다를까?
• RQ4 의미 있는 간격에서 추출한 빈번한 패턴이 향후 사용자 행동을 얼마나 잘 예측할 수 있는가?
• RQ5 식별된 패턴을 타겟 광고와 같은 실용적 응용에 어떻게 활용할 수 있는가?

주요 결과

• 제안된 방법은 사용자가 지정한 신뢰도 및 길이 제약 조건에 기반해 웹 로그 데이터에서 의미 있는 간격을 성공적으로 식별한다.
• 주기적 접기 방식을 사용함으로써 반복적인 액세스 패턴 탐지가 향상되어 식별된 간격의 관련성이 높아진다.
• 일회성 FED 알고리즘은 다중 데이터베이스 스캔 없이도 효율적인 빈번한 에피소드 식별을 가능하게 한다.
• 의미 있는 간격에서 추출한 빈번한 패턴은 사용자 행동 추세와 강한 상관관계를 보이며, 신뢰할 수 있는 예측이 가능하다.
• 이 방법은 의미 있는 간격과 빈번한 에피소드에서 추출한 시간 패턴을 기반으로 한 웹사이트 관심도 예측 및 타겟 광고 제공과 같은 실용적 응용을 지원한다.
• 높은 패턴 관련성 유지와 함께 전통적인 아파리 기반 접근법에 비해 계산 효율성이 뛰어나다.