[논문 리뷰] Discovering More Accurate Frequent Web Usage Patterns

Murat Ali Bayır, İsmail Hakkı Toroslu외 2명|ArXiv.org|2008. 04. 09.

Data Mining Algorithms and Applications참고 문헌 24인용 수 5

한 줄 요약

이 논문은 순차적 패턴 마이닝 동안 웹 토폴로지를 활용하여 대용량 항목집합을 확장함으로써 정규 웹 사용 패턴 탐지의 정확도를 향상시키는 새로운 방법을 제안한다. 에이전트 시뮬레이터를 사용해 세션 재구성 히وري스틱을 평가함으로써, 패턴 탐지 정확도가 세션 재구성 정확도를 크게 초월함을 입증한다 — 특히 스마트-SRA 히وري스틱을 사용할 경우 최대 30% 높은 정확도를 기록한다. 이는 두 번째 단계에서 빈도가 적고 복잡한 탐색 경로를 필터링하기 때문이다.

ABSTRACT

Web usage mining is a type of web mining, which exploits data mining techniques to discover valuable information from navigation behavior of World Wide Web users. As in classical data mining, data preparation and pattern discovery are the main issues in web usage mining. The first phase of web usage mining is the data processing phase, which includes the session reconstruction operation from server logs. Session reconstruction success directly affects the quality of the frequent patterns discovered in the next phase. In reactive web usage mining techniques, the source data is web server logs and the topology of the web pages served by the web server domain. Other kinds of information collected during the interactive browsing of web site by user, such as cookies or web logs containing similar information, are not used. The next phase of web usage mining is discovering frequent user navigation patterns. In this phase, pattern discovery methods are applied on the reconstructed sessions obtained in the first phase in order to discover frequent user patterns. In this paper, we propose a frequent web usage pattern discovery method that can be applied after session reconstruction phase. In order to compare accuracy performance of session reconstruction phase and pattern discovery phase, we have used an agent simulator, which models behavior of web users and generates web user navigation as well as the log data kept by the web server.

연구 동기 및 목표

• 웹 사용 마이닝에서 정규 웹 사용 패턴 탐지의 정확도를 향상시키기 위해 패턴 탐지 과정에 웹 토폴로지를 통합하는 것.
• 통제된 에이전트 시뮬레이터를 사용해 세션 재구성 히وري스틱이 이후 패턴 탐지 정확도에 미치는 영향을 평가하는 것.
• 패턴 탐지 단계가 단독 세션 재구성 단계보다 유의미하게 더 높은 정확도를 달성할 수 있음을 입증하는 것.
• 웹 토폴로지를 활용해 순차적 패턴 마이닝 동안 대용량 항목집합을 더 정확하게 확장할 수 있음을 보여주는 것.
• 더 정확한 탐색 패턴 추출을 통해 웹 개인화, 프리패칭, 사이트 재구성 향상에 기여하는 프레임워크를 제공하는 것.

제안 방법

• 실제 사용자 탐색 행동을 모의하기 위해 에이전트 시뮬레이터를 활용하여 합성 서버 로그와 실제 사용자 세션을 생성하고 평가에 사용한다.
• 서버 로그에 대해 반응형 세션 재구성 히وري스틱(스마트-SRA 및 시간/탐색 히وري스틱 포함)을 적용하여 사용자 세션을 재구성한다.
• 순차적 패턴 마이닝에 적합하게 수정된 아포리우 기법을 사용해 재구성된 세션에서 정규 탐색 경로를 탐지한다.
• 아포리우 알고리즘의 반복 과정에서 웹 토폴로지를 활용해 대용량 항목집합을 확장함으로써 패턴의 완전성과 정확도를 향상시킨다.
• 정확도를 실제 최대 빈도 패턴(MP_A)과 발견된 최대 패턴(MP_H)의 교집합 비율로 정의하며, 식 (2)를 사용한다: $ A_H = \frac{|MP_A \cap MP_H|}{|MP_A|} $.
• 사용자 행동 모델 간의 복잡성과 성능을 평가하기 위해 여덟 번의 실험에서 핵심 매개변수(STP, LPP, NIP, 지원도)를 다양화한다.

실험 결과

연구 질문

• RQ1 다양한 세션 재구성 히وري스틱을 사용할 경우, 정규 패턴 탐지 정확도가 세션 재구성 정확도와 비교해 어떻게 되는가?
• RQ2 웹 토폴로지는 정규 탐색 패턴 탐지 정확도 향상에 얼마나 효과적으로 활용될 수 있는가?
• RQ3 모든 히وري스틱을 고려할 때 패턴 탐지 단계는 항상 세션 재구성 단계보다 더 높은 정확도를 달성하는가?
• RQ4 사용자 행동 매개변수(STP, LPP, NIP)의 변화가 재구성된 세션과 발견된 패턴의 정확도에 어떤 영향을 미치는가?
• RQ5 아포리우 알고리즘의 지원도 임계값 조정이 발견된 탐색 패턴의 빈도와 수를 효과적으로 제어할 수 있는가?

주요 결과

• 패턴 탐지 단계는 항상 세션 재구성 단계보다 유의미하게 더 높은 정확도를 기록하였으며, 스마트-SRA 히وري스틱을 사용할 경우 최대 30% 높은 정확도를 달성하였다.
• 실험 5(STP=0.20, LPP=0.20, NIP=0.20)에서는 모든 히وري스틱과 지원도 값에서 가장 높은 정확도를 기록하여 최적의 사용자 행동 모델링이 이루어졌음을 확인하였다.
• 실험 4(STP=0.10, LPP=0.40, NIP=0.40)에서는 가장 낮은 정확도가 기록되었으며, 이는 매개변수 설정이 재구성 품질에 강력한 영향을 미친다는 것을 확인하였다.
• 발견된 최대 빈도 패턴의 정확도는 항상 재구성된 세션의 정확도보다 높았는데, 이는 두 번째 단계에서 빈도가 적고 복잡한 탐색 경로가 필터링되었기 때문이다.
• 아포리우 반복 과정에서 웹 토폴로지를 활용해 대용량 항목집합을 확장함으로써 표준 아포리우 대비 더 정확하고 포괄적인 패턴 탐지가 가능했다.
• 사용된 세션 재구성 히وري스틱에 관계없이 패턴 탐지 단계는 항상 정확도를 향상시켰으며, 이는 제안된 방법의 강건성을 입증한다.