[논문 리뷰] A Guided FP-growth algorithm for multitude-targeted mining of big data

Lior Shabtay, Rami Yaari외 1명|arXiv (Cornell University)|2018. 03. 18.

Data Mining Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 대규모 데이터에서 사전 지정된 아이템세트 목록의 지지도수를 효율적으로 추출하기 위해, FP-트리에 대한 타겟팅된 단일 스캔을 수행하는 새로운 방법인 가이드 FP-성장(GFP-growth) 알고리즘을 제안한다. 이 알고리즘은 관련된 트리 분지들에만 집중함으로써 시간과 메모리 비용을 크게 절감하며, 불균형 데이터셋에서 소수 클래스 규칙 추출과 같은 응용 분야에서 성능 향상을 이룬다. 이는 제안된 이론적 성질과 실험적 성과를 입증한 소수 보고서 알고리즘(Minority-Report Algorithm)을 통해 입증되었다.

ABSTRACT

In this paper we present the GFP-growth (Guided FP-growth) algorithm, a novel method for multitude-targeted mining: finding the count of a given large list of itemsets in large data. The GFP-growth algorithm is designed to focus on the specific multitude itemsets of interest and optimizes the time and memory costs. We prove that the GFP-growth algorithm yields the exact frequency-counts for the required itemsets. We show that for a number of different problems, a solution can be devised which takes advantage of the efficient implementation of multitude-targeted mining for boosting the performance. In particular, we study in detail the problem of generating the minority-class rules from imbalanced data, a scenario that appears in many real-life domains such as medical applications, failure prediction, network and cyber security, and maintenance. We develop the Minority-Report Algorithm that uses the GFP-growth for boosting performance. We prove some theoretical properties of the Minority-Report Algorithm and demonstrate its performance gain using simulations and real data.

연구 동기 및 목표

• 기존의 타겟팅된 추출 방법이 각 아이템세트를 별도로 처리함으로써 중복된 트리 스캔와 높은 계산 비용을 유발하는 비효율성 문제를 해결하기 위해.
• FP-트리에서 대량의 사전 지정된 아이템세트의 지지도수를 동시에 추출하기 위한 확장성 있고 일반적인 솔루션을 개발하기 위해.
• 의료 진단, 사이버 보안, 고장 예측과 같이 소수 클래스 규칙이 핵심적인 실세계 응용 분야에서 성능 향상을 위해.
• 기존에 추출된 FP-트리를 활용하여 전체 재추출 없이도 빈도수 변화가 있을 수 있는 아이템세트에 대해서만 지원도수를 재계산함으로써 빈도수 변화를 효율적으로 업데이트하기 위해.
• 제약 기반 및 타겟팅된 데이터 마이닝을 위한 이론적으로 타당하고 계산적으로 효율적인 기반을 제공하기 위해.

제안 방법

• GFP-growth 알고리즘은 다수의 타겟 아이템세트의 지지도수를 동시에 추적하는 동적 카운트 구조를 활용해 FP-트리에 대한 단일 가이드 스캔을 수행한다.
• 이 알고리즘은 타겟 아이템세트의 접두어 경로를 기반으로 불필요한 트리 분지들을 잘라내는 가이드드 마이닝 전략을 사용하여 전체 트리 탐색을 피한다.
• 알고리즘은 스캔 도중 각 타겟 아이템세트의 지지도수를 누적하는 동적 카운트 구조를 유지함으로써 정확한 빈도 계산을 보장한다.
• 조건부 패턴 기반과 트리 압축과 같은 기존의 FP-성장 최적화 기법들과 통합되어 시간과 메모리 오버헤드를 추가로 줄인다.
• 소수 보고서 알고리즘은 불균형 데이터셋에서 소수 클래스 연관 규칙을 우선순위에 따라 추출하기 위해 GFP-growth를 기반으로 구축되며, 희귀하지만 중요한 아이템세트에 집중한 마이닝을 수행한다.
• 증분 업데이트의 경우, GFP-growth는 새로운 데이터로 인해 빈도수가 변경될 수 있는 아이템세트에 대해서만 지원도수를 재계산하여 데이터베이스 전체 스캔 없이도 효율적인 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 반복적 단일 아이템세트 마이닝 방식보다, 단일 스캔 및 가이드드 FP-트리 스캔를 통해 대규모 타겟 아이템세트 목록의 정확한 지지도수 계산을 더 효율적으로 달성할 수 있는가?
• RQ2 GFP-growth 알고리즘이 불균형 데이터셋에서 소수 클래스 연관 규칙을 추출하는 데 성능 향상을 위해 어떻게 적응될 수 있는가?
• RQ3 GFP-growth 알고리즘이 빈도수 변화가 발생하는 증분 데이터 마이닝 환경에서 시간과 메모리 비용을 얼마나 줄일 수 있는가?
• RQ4 GFP-growth 알고리즘은 지지도수 계산의 정확성과 완전성에 대해 어떤 이론적 보장을 제공하는가?
• RQ5 GFP-growth 프레임워크는 제약 기반 마이닝을 지원하고 다른 데이터 마이닝 워크로드를 최적화하기 위해 어떻게 확장될 수 있는가?

주요 결과

• GFP-growth 알고리즘은 단일이고 부분적인 FP-성장 스캔을 통해 모든 지정된 아이템세트의 정확한 지지도수 계산을 달성하며, 중복된 트리 스캔를 제거한다.
• 특히 타겟 목록이 클 경우, 표준 FP-성장 대비 다수의 타겟 아이템세트를 추출할 때 시간과 메모리 비용을 크게 절감한다.
• GFP-growth를 기반으로 한 소수 보고서 알고리즘은 시뮬레이션과 실제 데이터셋을 통한 검증을 통해 불균형 데이터에서 소수 클래스 규칙을 추출할 때 뚜렷한 성능 향상을 보였다.
• 이론적 분석을 통해 소수 보고서 알고리즘이 정확하게 소수 클래스 규칙을 식별하고 순위를 매기며, 지지도수 정확성이 보장됨을 확인했다.
• GFP-growth 프레임워크는 빈도수가 변경될 수 있는 아이템세트에만 집중함으로써 전체 데이터베이스 재마이닝 없이도 효율적인 증분 업데이트를 가능하게 한다.
• 알고리즘은 기존의 FP-성장 최적화와 호환되어 고급 데이터 구조 및 병렬 처리 기법과의 통합을 통해 추가적인 성능 향상을 이룰 수 있다.