[논문 리뷰] A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data

Zahid Ansari, Mohammad Fazle Azeem외 2명|arXiv (Cornell University)|2015. 09. 01.

Data Mining Algorithms and Applications참고 문헌 18인용 수 12

한 줄 요약

이 논문은 웹 로그 데이터에서 사용자 사용 패턴을 추출하기 위해 퍼지 클러스터링 기반 접근법을 제안하며, 기존의 하드 클러스터링보다 겹치는 액세스 패턴을 더 효과적으로 다룸으로써 사용자 세션 재구성 능력을 향상시킨다. 이 방법은 사용자 세션을 퍼지 집합으로 모델링하여 웹 환경이 복잡한 상황에서도 사용자 행동 분석을 더 정확하고 세밀하게 수행함으로써 사용자 탐색 패턴의 정교한 프로파일링을 가능하게 한다.

ABSTRACT

The World Wide Web continues to grow at an amazing rate in both the size and complexity of Web sites and is well on its way to being the main reservoir of information and data. Due to this increase in growth and complexity of WWW, web site publishers are facing increasing difficulty in attracting and retaining users. To design popular and attractive websites publishers must understand their users needs. Therefore analyzing users behaviour is an important part of web page design. Web Usage Mining (WUM) is the application of data mining techniques to web usage log repositories in order to discover the usage patterns that can be used to analyze the users navigational behavior. WUM contains three main steps: preprocessing, knowledge extraction and results analysis. The goal of the preprocessing stage in Web usage mining is to transform the raw web log data into a set of user profiles. Each such profile captures a sequence or a set of URLs representing a user session.

연구 동기 및 목표

• 대규모이고 복잡한 웹 환경에서 사용자 탐색 행동을 정확히 모델링하는 데 도전하는 것.
• 사용자 세션이 단일 클러스터에 단단히 할당되는 기존의 하드 클러스터링의 한계를 극복하는 것.
• URL 이 여러 사용자 프로파일에 부분적으로 포함될 수 있도록 허용함으로써 사용자 프로파일 생성을 향상시키는 것.
• 더 의미 있는 사용자 세션 표현을 생성함으로써 웹 사용 마이닝의 사전 처리 단계를 향상시키는 것.
• 정교한 사용자 액세스 패턴 이해를 바탕으로 웹사이트 맞춤화 및 사용자 유지를 향상시키는 것.

제안 방법

• 사용자 액세스 빈도와 동시 발생 패턴을 기반으로 웹 로그 데이터에 퍼지 c-의미 클러스터링을 적용하여 URL 을 군집화하는 것.
• 각 사용자 세션을 퍼지 집합으로 모델링하여 URL 이 여러 클러스터에 다양한 정도의 소속도를 가질 수 있도록 하는 것.
• 특정 사용자 프로파일 클러스터에 URL 이 속하는 정도를 정량화하기 위해 소속 함수를 사용하는 것.
• 퍼지 소속도 점수를 사용하여 액세스 시퀀스를 집계함으로써 원시 웹 로그를 구조화된 사용자 프로파일로 변환하는 것.
• 내부 클러스터 분산을 최소화하고 외부 클러스터 간 분리도 최대화하는 목적 함수를 사용하여 중심점(centroids)을 반복적으로 최적화하는 것.
• 결과로 도출된 퍼지 프로파일을 웹 사용 마이닝의 지식 추출 단계에 통합하여 보다 향상된 행동 패턴 탐지 기능을 제공하는 것.

실험 결과

연구 질문

• RQ1 어떻게 웹 로그 데이터를 실제 사용자 탐색 행동을 반영하는 의미 있는 사용자 프로파일로 변환할 수 있는가?
• RQ2 기존의 하드 클러스터링 대비 퍼지 클러스터링은 사용자 세션 재구성 정확도를 어느 정도 향상시키는가?
• RQ3 웹 로그에서의 겹치는 액세스 패턴은 날것의 클러스터 할당보다 퍼지 소속도로 더 잘 포착될 수 있는가?
• RQ4 제안된 방법은 후속 웹 사용 마이닝 작업을 위한 사용자 프로파일의 품질을 어떻게 향상시키는가?
• RQ5 퍼지 클러스터링은 발견된 사용 패턴의 해석 가능성과 활용도에 어떤 영향을 미치는가?

주요 결과

• 퍼지 클러스터링 방법은 기존의 하드 클러스터링 기법에 비해 더 정확하고 의미적으로 일관된 사용자 프로파일을 성공적으로 생성하였다.
• 겹치는 액세스 패턴을 가진 사용자 세션은 URL 이 여러 프로파일에 다양한 정도의 소속도를 가질 수 있어 더 잘 표현되었다.
• 하드 클러스터링이 잘못 표현할 수 있는 세밀한 탐색 패턴을 포착함으로써 사용자 행동 모델링의 정밀도가 향상되었다.
• 결과로 도출된 프로파일은 공통된 사용자 액세스 시퀀스와 탐색 추세를 더 효과적으로 식별하는 데 기여하였다.
• 특히 고용량 웹사이트에서 높은 노이즈와 복잡한 웹 로그 데이터를 처리하는 데 있어 이 방법은 뛰어난 강건성을 보였다.
• 연구 결과, 퍼지 클러스터링은 웹 사용 마이닝의 사전 처리 단계를 향상시켜 사용자 행동 분석의 후속 분석 품질을 높이는 데 기여한다는 것이 확인되었다.