[논문 리뷰] Web Usage Mining: Pattern Discovery and Forecasting

Dhanamma Jagli, Sangeeta Oswal|arXiv (Cornell University)|2013. 10. 09.

Data Mining Algorithms and Applications참고 문헌 4인용 수 3

한 줄 요약

이 논문은 클러스터링 기법을 사용하여 대학 웹 로그 데이터에서 사용자 액세스 패턴을 발견하고, 시계열 분석을 통해 향후 방문자 수와 페이지 조회 수를 예측하는 웹 사용량 마이닝 프레임워크를 제안한다. 주요 기여는 클러스터 기반 패턴 발견과 예측 모델링을 융합한 하이브리드 접근 방식으로, 시스템 계획 수립과 자원 배분을 위한 웹 트래픽 추세 예측을 정확하게 수행한다.

ABSTRACT

Web usage mining: automatic discovery of patterns in clickstreams and associated data collected or generated as a result of user interactions with one or more Web sites. This paper describes web usage mining for our college log files to analyze the behavioral patterns and profiles of users interacting with a Web site. The discovered patterns are represented as clusters that are frequently accessed by groups of visitors with common interests. In this paper, the visitors and hits were forecasted to predict the further access statistics.

연구 동기 및 목표

• 대학 웹 환경의 웹 서버 로그 파일에서 반복적인 사용자 액세스 패턴을 식별하기 위해.
• 사용자 클릭스트림 데이터를 기반으로 유사한 탐색 행동을 가진 사용자를 클러스터로 그룹화하기 위해.
• 역사적 액세스 통계를 기반으로 향후 웹 트래픽(방문자 수 및 페이지 조회 수)을 예측하기 위해.
• 예측 분석을 통해 시스템 용량 계획 수립과 자원 최적화를 지원하기 위해.
• 웹 사용량 마이닝의 실용적 적용 가능성을 대학 웹 환경에서 입증하기 위해.

제안 방법

• 대학 웹 로그에서의 클릭스트림 데이터를 기반으로 유사한 액세스 패턴을 가진 사용자를 클러스터링 알고리즘을 적용하여 그룹화한다.
• 사용자 액세스 시퀀스를 클러스터링 분석을 위해 거래 유사 기록으로 변환한다.
• 역사적 추세를 기반으로 향후 방문자 수와 페이지 조회 수를 예측하기 위해 시계열 예측 모델을 사용한다.
• 클러스터링 결과를 활용해 사용자 프로파일과 자주 액세스하는 콘텐츠 그룹을 식별한다.
• 데이터 전처리 과정으로 로그 파일 파싱, 세션 재구성, 분석을 위한 특징 추출이 포함된다.
• 예측 모델은 역사를 기반으로 한 액세스 통계를 학습하여 향후 웹 트래픽을 예측한다.

실험 결과

연구 질문

• RQ1 대학 웹 환경에서 사용자 클릭스트림 데이터로부터 어떤 반복적인 액세스 패턴을 발견할 수 있는가?
• RQ2 탐색 패턴을 기반으로 사용자 행동을 의미 있는 클러스터로 그룹화할 수 있는가?
• RQ3 역사적 액세스 데이터를 사용하여 향후 웹 트래픽(방문자 수 및 페이지 조회 수)을 얼마나 정확하게 예측할 수 있는가?
• RQ4 발견된 사용자 클러스터는 특정 콘텐츠 또는 서비스 사용과 어떻게 관련이 있는가?
• RQ5 제안된 방법은 교육 웹 시스템에서 사전 자원 할당을 지원하는 데 효과적인가?

주요 결과

• 클러스터링 방법을 통해 대학 웹사이트에서 공통된 관심사와 탐색 행동을 가진 명확한 사용자 그룹을 성공적으로 식별하였다.
• 학술 자원 및 행정 서비스와 같은 특정 콘텐츠 그룹에 대해 높은 빈도의 액세스 패턴이 관찰되었다.
• 예측 모델은 다양한 시간 간격에 걸쳐 향후 방문자 수와 페이지 조회 수를 신뢰성 있게 예측하는 데 성공하였다.
• 클러스터링과 예측의 통합을 통해 웹 시스템 관리 및 최적화를 위한 실질적인 통찰을 제공하였다.
• 실제 대학 웹 로그 데이터를 활용한 실세계 적용 사례에서 이 방법이 효과적임을 입증하였으며, 실용적 구현 가능성을 입증하였다.
• 결과적으로 웹 사용량 마이닝은 학술 웹 환경에서 사용자 경험 향상과 시스템 효율성 향상에 기여할 수 있음을 시사한다.