[논문 리뷰] Beyond Frequency: Utility Mining with Varied Item-Specific Minimum Utility

Wensheng Gan, Jerry Chun‐Wei Lin외 3명|arXiv (Cornell University)|2019. 02. 25.

Data Mining Algorithms and Applications참고 문헌 65인용 수 4

한 줄 요약

이 논문은 항목별 최소 유효성 기준을 고려하는 한 단계형 유효성 마이닝 알고리즘인 HIMU를 제안한다. 기존의 균일한 기준을 사용하는 전통적 방법의 한계를 극복하며, 고유의 MIU-트리 구조, 전역 및 조건부 하향 폐쇄 성질, 그리고 효율적인 가지치기 전략을 도입함으로써 런타임과 메모리 사용량을 크게 줄이고, '희귀 항목 문제'를 효과적으로 완화하며 최신 기술 대비 확장성과 효율성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Utility-oriented mining which integrates utility theory and data mining is a useful tool for understanding economic consumer behavior. Traditional algorithms for mining high-utility patterns (HUPs) applies a single/uniform minimum high-utility threshold (minutil) to obtain the set of HUPs, but in some real-life circumstances, some specific products may bring lower utilities compared with others, but their profit may offer some vital information. However, if minutil is set high, the patterns with low minutil are missed; if minutil is set low, the number of patterns becomes unmanageable. In this paper, an efficient one-phase utility-oriented pattern mining algorithm, called HIMU, is proposed for mining HUPs with varied item-specific minimum utility. A novel tree structure called a multiple item utility set-enumeration tree (MIU-tree), the global sorted and the conditional downward closure properties are introduced in HIMU. In addition, we extended the compact utility-list structure to keep the necessary information, and thus this one-phase HIMU model greatly reduces the computational costs and memory requirements. Moreover, two pruning strategies are then extended to enhance the performance. We conducted extensive experiments in several synthetic and real-world datasets; the results indicates that the designed one-phase HIMU algorithm can address the "rare item problem" and has better performance than the state-of-the-art algorithms in terms of runtime, memory usage, and scalability. Furthermore, the enhanced algorithms outperform the non-optimized HIMU approach.

연구 동기 및 목표

• 모든 항목에 대해 동일한 최소 유효성 기준을 사용하는 전통적 고유의 유효성 마이닝(HUIM) 방법의 한계를 해결하기 위해.
• 실제 상황에서 제품의 수익성과 중요성의 차이를 반영하기 위해 항목별 최소 유효성 기준을 허용함으로써 더 현실적이고 융통성 있는 유효성 마이닝을 가능하게 하기 위해.
• 낮은 유효성일지라도 의미 있는 항목들이 간과되는 '희귀 항목 문제'를 해결하기 위해 항목별로 기준을 조정함으로써 이를 효과적으로 완화하기 위해.
• 후보 항목 생성 및 다중 데이터베이스 스캔을 피하는 효율적인 한 단계 알고리즘 설계를 통해 계산 비용을 감소시키기 위해.
• 실제 및 합성 데이터셋에 대한 확장성과 성능 향상을 위해 새로운 데이터 구조와 가지치기 전략을 통해 구현하기 위해.

제안 방법

• 후보 항목 생성 없이 직접 고유효성 마이닝을 수행할 수 있는 압축된 트리 구조인 다중 항목 유효성 집합-열거 트리(MIU-tree)를 제안한다.
• 반대단조성(anti-monotonicity)을 보장하고 유망하지 않은 항목 집합을 효과적으로 가지치기하기 위해 전역 및 조건부 하향 폐쇄(GDC 및 CDC) 성질을 도입한다.
• 필요한 유효성 정보를 효율적으로 저장하여 메모리 사용량을 최소화하기 위해 압축된 유효성 목록 구조를 활용한다.
• 비유망한 분지들을 조기에 제거하여 마이닝 속도를 높이기 위해 두 가지 향상된 가지치기 전략(EUCP: 효율적 유효성 압축 가지치기 및 LAP: 강화된 반대단조성 가지치기)을 설계한다.
• 가벼운 EUCS 구조를 사용하여 2개 항목으로 구성된 집합의 총 가중 유효성(TWU) 값을 유지하기 위해 유효성 목록 구조를 확장한다.
• 다중 데이터베이스 스캔이나 후보 생성-검증 단계 없이 MIU-트리에서 직접 고유효성 항목 집합을 발견하는 한 단계 마이닝 프로세스를 구현한다.

실험 결과

연구 질문

• RQ1 항목의 수익성 수준이 다르므로 각 항목에 대해 다른 최소 유효성 기준이 필요한 경우, 고유효성 항목 집합 마이닝은 어떻게 향상시킬 수 있는가?
• RQ2 기존의 단계별 또는 후보 생성 기반 HUIM 접근 방식에 비해 런타임, 메모리 사용량, 확장성 측면에서 한 단계 알고리즘이 성능 면에서 뛰어나게 될 수 있는가?
• RQ3 낮은 유효성일지라도 의미 있는 항목들이 걸러지는 '희귀 항목 문제'는 어떻게 효과적으로 완화시킬 수 있는가?
• RQ4 메모리 소비를 줄이고 유효성 기반 패턴 탐색의 마이닝 속도를 높이기 위해 어떤 새로운 데이터 구조와 가지치기 기법을 설계할 수 있는가?
• RQ5 제안된 가지치기 전략(EUCP 및 LAP)은 기본 HIMU 및 최신 기술 대비 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 HIMU 알고리즘은 HUI-MMU 및 HUI-MMU TID에 비해 특히 대규모 데이터셋에서 런타임과 메모리 사용량을 크게 줄였다.
• 향상된 HIMU EUCP, HIMU LAP, HIMU ELP 알고리즘은 실행 시간, 메모리 소비, 생성된 항목 집합의 수 등 모든 지표에서 기본 HIMU보다 뛰어난 성능을 보였다.
• MIU-트리 구조 덕분에 후보 생성 또는 다중 데이터베이스 스캔 없이 직접 마이닝이 가능하여 계산 오버헤드가 감소했다.
• 전역 및 조건부 하향 폐쇄 성질은 정확성을 보장하고 효과적인 가지치기를 가능하게 하여 효율성을 향상시켰다.
• 발견된 HUI(고유효성 항목 집합)의 수는 항상 HTWUI(총가중유효성 항목 집합)의 수보다 낮게 유지되었으며, 이는 알고리즘이 의미가 덜한 패턴을 효과적으로 걸러내고 있음을 확인한다.
• 확장성 실험 결과, 데이터셋 크기가 커질수록 HIMU와 기본 알고리즘 간의 성능 격차가 커졌으며, 이는 탁월한 확장성을 입증한다.