[논문 리뷰] CASP-DM: Context Aware Standard Process for Data Mining

Fernando Martínez‐Plumed, Lidia Contreras-Ochando외 6명|arXiv (Cornell University)|2017. 09. 19.

Data Stream Mining Techniques참고 문헌 44인용 수 21

한 줄 요약

CASP-DM은 데이터, 목표 및 도메인의 변화를 사전에 관리할 수 있도록 맥락 인식 활동을 CRISP-DM에 확장하여 모델 재사용을 가능하게 하고 프로젝트 재작업을 감소시킨다. 표준 데이터 마이닝 라이프사이클에 맥락 식별, 재정의, 모델 모니터링 전용 작업을 통합하여 더 유연하고 유지보수 용이한 데이터 마이닝 프로젝트를 실현한다.

ABSTRACT

We propose an extension of the Cross Industry Standard Process for Data Mining (CRISPDM) which addresses specific challenges of machine learning and data mining for context and model reuse handling. This new general context-aware process model is mapped with CRISP-DM reference model proposing some new or enhanced outputs.

연구 동기 및 목표

• CRISP-DM, KDD, SEMMA와 같은 기존 데이터 마이닝 방법론에서 체계적인 맥락 인식 부족을 해결한다.
• 새로운 데이터 분포, 언어 변화 또는 변화하는 사기 패턴과 같은 예측 불가능한 맥락 변화로 인한 프로젝트 재작업 및 비용 증가를 줄인다.
• 완전한 재학습이나 설계 재수립 없이도 다양한 도메인과 맥락 간에 모델 재사용과 적응성을 보장한다.
• 실무자들이 쉽게 채택하고 RapidMiner 및 IBM SPSS Modeler와 같은 기존 도구와의 통합이 가능하도록 CRISP-DM과의 후행 호환성을 확보한다.
• casp-dm.org를 통해 커뮤니티 주도 표준을 구축하여 데이터 마이닝 방법론의 지속적인 발전을 지원한다.

제안 방법

• CRISP-DM의 여섯 단계 라이프사이클에 맥락 식별, 맥락 변화 모니터링, 맥락 기반 모델 선택과 같은 새로운 맥락 인식 작업을 통합한다.
• 모델을 다시 학습하지 않고도 새로운 맥락에 적응할 수 있도록 '재정의(reframing)'를 核심 기법으로 도입한다.
• 모델 성능과 배포에 영향을 주는 매개변수 집합(예: 데이터 분포, 언어, 작업 목표, 비용 제약)을 맥락으로 정의한다.
• 배포 및 평가 단계에 맥락 모니터링을 통합하여 변화를 추적하고 모델 업데이트 또는 재선택을 유도한다.
• 실시간 맥락 추정 기반으로 선택되는 여러 맥락 특화 모델을 유지하는 모델 풀 관리 전략을 제안한다.
• 맥락 대응, 모델 유연성, 재정의 효과성에 대한 교훈을 기록하는 최종 경험 문서화 프로세스를 개발한다.

실험 결과

연구 질문

• RQ1 데이터 분포, 언어 또는 비즈니스 목표의 변화와 같은 맥락 변화에 대해 데이터 마이닝 프로젝트를 어떻게 더 견고하게 만들 수 있는가?
• RQ2 데이터 마이닝 라이프사이클 전반에서 맥락을 시스템적으로 식별하고 관리하기 위해 필요한 구체적 작업과 출력물은 무엇인가?
• RQ3 맥락 변화 발생 시 전체 재학습이 필요한 정도를 모델 재사용과 재정의로 얼마나 줄일 수 있는가?
• RQ4 CRISP-DM에 맥락 인식 기능을 통합하면서도 후행 호환성을 유지하는 방법은 무엇인가?
• RQ5 커뮤니티 플랫폼은 맥락 인식 데이터 마이닝 방법론의 지속적 발전과 진화에 어떤 역할을 할 수 있는가?

주요 결과

• CASP-DM은 맥락 변화를 사전에 인지하고 관리할 수 있는 맥락 인식 활동을 CRISP-DM에 성공적으로 확장하여 프로젝트 재작업 위험을 감소시켰다.
• MoReBikeS 사례 연구에서 맥락 인식 모델 선택 기능 덕분에 유사한 맥락 프로파일을 가진 새로운 자전거 대여소 간에 기존 모델을 재사용할 수 있었다.
• 경험 문서화 결과, 맥락 식별 및 재정의가 모델 적응성 향상과 배포 비용 감소에 크게 기여했다.
• 맥락을 일등 시맨틱 매개변수로 간주함으로써 다양한 맥락(예: 다국어 텍스트 요약, 변화하는 사기 탐지) 간에 모델 재사용이 가능해졌다.
• CRISP-DM과의 후행 호환성 덕분에 RapidMiner 및 IBM SPSS Modeler와 같은 도구를 사용하는 실무자들이 즉각적으로 채택할 수 있었다.
• casp-dm.org를 커뮤니티 플랫폼으로 구축함으로써 맥락 인식 데이터 마이닝 관행의 지속적 표준화 및 발전이 지원되었다.