[논문 리뷰] Preprocessing: A Prerequisite for Discovering Patterns in Web Usage Mining Process

C. Ramya, G. Kavitha외 1명|arXiv (Cornell University)|2011. 05. 02.

Data Mining Algorithms and Applications참고 문헌 1인용 수 7

한 줄 요약

이 논문은 웹 사용 마이닝을 위한 종합적인 전처리 방법론을 제안하며, 병합, 데이터 정제, 사용자/세션 식별, 데이터 포맷팅을 통합하여 로그 크기를 줄이고 데이터 품질을 향상시킵니다. 이 방법은 원본 웹 로그 파일을 73–82% 감소시키면서도, 웹 사용 마이닝에서 패턴 탐지에 최적화된 구조화되고 노이즈가 없는 로그를 생성합니다.

ABSTRACT

Web log data is usually diverse and voluminous. This data must be assembled into a consistent, integrated and comprehensive view, in order to be used for pattern discovery. Without properly cleaning, transforming and structuring the data prior to the analysis, one cannot expect to find meaningful patterns. As in most data mining applications, data preprocessing involves removing and filtering redundant and irrelevant data, removing noise, transforming and resolving any inconsistencies. In this paper, a complete preprocessing methodology having merging, data cleaning, user/session identification and data formatting and summarization activities to improve the quality of data by reducing the quantity of data has been proposed. To validate the efficiency of the proposed preprocessing methodology, several experiments are conducted and the results show that the proposed methodology reduces the size of Web access log files down to 73-82% of the initial size and offers richer logs that are structured for further stages of Web Usage Mining (WUM). So preprocessing of raw data in this WUM process is the central theme of this paper.

연구 동기 및 목표

• 사용 마이닝에서 다양하고 다량이며 일관성 없는 웹 로그 데이터를 다루는 데 도전하는 것.
• 패턴 탐지 이전에 노이즈, 중복 및 일관성 없는 요소를 제거하여 데이터 품질을 향상시키는 것.
• 원본 웹 액세스 로그의 크기를 줄이되 의미 있는 사용자 상호작용 정보를 유지하는 것.
• 효율적이고 정확한 웹 사용 마이닝을 지원하는 체계적인 전처리 파이프라인을 개발하는 것.
• 실험적 검증을 통해 제안된 전처리 방법론의 효과성을 검증하는 것.

제안 방법

• 다양한 로그 파일을 하나의 통합 데이터셋으로 통합하여 포괄적인 데이터 수집을 보장하기 위해 병합을 수행합니다.
• 불필요한 항목을 제거하고, 노이즈를 걸러내며, 로그 항목의 일관성을 해결하기 위해 데이터 정제를 수행합니다.
• 시간표시, IP 주소, 사용자 에이전트 문자열을 분석하여 관련 요청을 그룹화함으로써 사용자 및 세션 식별을 수행합니다.
• 데이터 포맷팅 및 요약을 통해 원시 로그를 분석에 적합한 구조화되고 정규화된 레코드로 변환합니다.
• 규칙 기반 및 히우리스틱 기법을 활용하여 로그 항목의 이상 징후를 탐지하고 수정합니다.
• 최종 출력물은 압축되고 깔끔하며 구조화된 데이터셋으로, 후속 웹 사용 마이닝 단계에서 바로 사용할 수 있습니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 웹 로그 데이터를 효과적으로 전처리하여 품질을 향상시키고 크기를 줄일 수 있는가?
• RQ2 웹 액세스 로그의 일관성 문제를 식별하고 해결하는 데 가장 효과적인 전처리 기법은 무엇인가?
• RQ3 전처리를 통해 원본 웹 로그 파일 크기를 얼마나 줄일 수 있으며, 의미 있는 사용자 상호작용 패턴을 손실 없이 유지할 수 있는가?
• RQ4 제안된 전처리 파이프라인이 웹 로그의 구조와 후속 분석을 위한 사용성에 어떻게 기여하는가?
• RQ5 전처리 방법론의 효율성과 효과성을 평가하는 데 사용할 수 있는 지표는 무엇인가?

주요 결과

• 제안된 전처리 방법론은 원본 데이터량 대비 원본 웹 액세스 로그 파일 크기를 73–82% 감소시킵니다.
• 정제되고 구조화된 로그는 웹 사용 마이닝에서 패턴 탐지에 훨씬 더 적합합니다.
• 이 방법은 중복 및 불필요한 데이터를 효과적으로 제거하면서도 필수적인 사용자 세션 정보를 유지합니다.
• 전처리 파이프라인은 일관성 문제를 해결하고 로그에서 노이즈를 걸러내어 데이터 품질을 향상시킵니다.
• 실험적 검증을 통해 이 방법론이 후속 마이닝 작업에 더 풍부하고 분석 가능한 로그를 생성한다는 것이 확인되었습니다.
• 이 방법은 대규모 웹 로그 데이터셋을 처리하는 데 있어 뛰어난 확장성과 효율성을 보여줍니다.