[논문 리뷰] Integrating E-Commerce and Data Mining: Architecture and Challenges

S. Ansari, Ron Kohavi외 2명|ArXiv.org|2000. 07. 14.

Advanced Database Systems and Queries참고 문헌 3인용 수 12

한 줄 요약

이 논문은 데이터 마이닝을 애플리케이션 레이어에 직접 통합함으로써 데이터 준비 시간을 줄이는 통합형 전자상거래 아키텍처를 제안한다. 응용 프로그램 서버 수준에서 풍부한 메타데이터 수집을 가능하게 함으로써 데이터 마이닝을 위한 응용 프로그램 레이어에 데이터 마이닝을 통합함으로써 데이터 준비 시간을 감소시킨다. 표준화된 데이터 브릿지들을 통해 비즈니스 데이터 정의, 고객 상호작용, 분석을 통합함으로써 지식 탐색을 단순화하고 클릭스트림 및 거래 데이터로부터 실행 가능한 인사이트를 가능하게 한다.

ABSTRACT

We show that the e-commerce domain can provide all the right ingredients for successful data mining and claim that it is a killer domain for data mining. We describe an integrated architecture, based on our expe-rience at Blue Martini Software, for supporting this integration. The architecture can dramatically reduce the pre-processing, cleaning, and data understanding effort often documented to take 80% of the time in knowledge discovery projects. We emphasize the need for data collection at the application server layer (not the web server) in order to support logging of data and metadata that is essential to the discovery process. We describe the data transformation bridges required from the transaction processing systems and customer event streams (e.g., clickstreams) to the data warehouse. We detail the mining workbench, which needs to provide multiple views of the data through reporting, data mining algorithms, visualization, and OLAP. We con-clude with a set of challenges.

연구 동기 및 목표

• 데이터 마이닝 프로젝트에서 자주 발생하는 80퍼센트 이상의 시간 소모를 초래하는 데이터 전처리의 고비용 문제를 해결하기 위해 응용 프로그램 서버 레이어에서 데이터 수집 및 메타데이터 정의를 통합한다.
• 표준화된 데이터 변환 브릿지들을 통해 거래 시스템, 고객 이벤트 스트림, 데이터 마이닝 도구 간의 원활한 통합을 가능하게 한다.
• 분석 결과와 실시간 고객 경험 개인화 사이의 루프를 닫음으로써 실행 가능한 데이터 마이닝을 지원한다.
• 대규모 전자상거래 환경에서 복잡하고 계층적이며 변화하는 고객 및 제품 데이터를 모델링하는 데 발생하는 과제를 극복한다.

제안 방법

• 비즈니스 데이터 정의, 고객 상호작용, 분석의 세 가지 구성 요소로 구성된 삼단계 아키텍처를 제안하며, 스테이지 데이터, 빌드 데이터 웨어하우징, 결과 배포의 세 가지 데이터 전달 브릿지로 연결된다.
• 기본 웹 서버 로그를 넘어서 의미 있는 데이터와 메타데이터를 캡처하기 위해 응용 프로그램 서버 수준의 로깅을 강조한다.
• 원시 거래 및 이벤트 데이터(예: 클릭스트림)를 구조화되고 메타데이터가 풍부한 데이터 웨어하우징 형식으로 변환하기 위한 데이터 변환 브릿지를 도입한다.
• 다중 시각화 분석을 위한 통합 보고서, 온라인 분석 처리(OLAP), 시각화, 데이터 마이닝 알고리즘을 포함한 통합 마이닝 워크벤치를 활용한다.
• 모든 구성 요소 간에 공유되는 메타데이터를 사용하여 데이터 웨어하우징 구축을 자동화하고 분석 및 배포 간의 일관성을 확보한다.
• 진행 중인 고객 및 제품 속성 변화를 처리하기 위해 계층적 데이터 모델링 및 서서히 변화하는 차원을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 데이터 마이닝을 전자상거래 시스템에 효과적으로 통합하여 데이터 전처리에 소요되는 시간을 줄일 수 있는가?
• RQ2 실시간 실행 가능한 인사이트를 고객 상호작용 데이터에서 도출하기 위해 필요한 아키텍처 구성 요소와 데이터 브릿지는 무엇인가?
• RQ3 어떻게 하면 응용 프로그램 레이어에서 풍부한 메타데이터를 캡처하여 데이터 품질을 향상시키고 의미론적 분석을 지원할 수 있는가?
• RQ4 클릭스트림 데이터에 봇 트래픽, 사용자 세션, 계층적 제품 구조가 포함될 경우 발생하는 과제는 무엇인가?
• RQ5 데이터 마이닝 알고리즘은 어떻게 수정되어 서서히 변화하는 차원과 마케팅 캠페인과 같은 외부 이벤트를 처리할 수 있는가?

주요 결과

• 제안된 아키텍처는 응용 프로그램 서버 레이어에서 메타데이터 수집 및 변환을 통합함으로써 웹 서버 로그 파일의 제한된 활용에 의존하지 않게 되어 데이터 준비 시간을 감소시킨다.
• 응용 프로그램 수준의 로깅은 사용자 세션 컨텍스트, 제품 속성, 비즈니스 규칙 등의 핵심 메타데이터를 캡처하여 더 정확하고 의미론적으로 유의미한 분석을 가능하게 한다.
• 공유되는 메타데이터를 통해 비즈니스 데이터 정의, 고객 상호작용, 분석 구성 요소 간의 통합이 가능해져 자동화되고 일관된 데이터 웨어하우징 구축이 가능해진다.
• 통합 워크벤치를 통해 OLAP, 시각화, 보고서, 데이터 마이닝 알고리즘을 결합함으로써 고급 분석 기능을 지원한다.
• 프레임워크는 봇 탐지, 계층적 제품 모델링, 프ом모션 및 사이트 재설계와 같은 외부 이벤트 처리와 같은 핵심 과제를 해결한다.
• 논문은 전자상거래가 풍부한 고품질 데이터, 측정 가능한 ROI, 그리고 인사이트의 직접적 실행 가능성 덕분에 데이터 마이닝의 '킬러 도메인'임을 입증한다.