[논문 리뷰] Safe Pattern Pruning: An Efficient Approach for Predictive Pattern Mining

Kazuya Nakagawa, Shinya Suzumura외 3명|arXiv (Cornell University)|2016. 02. 15.

Data Mining Algorithms and Applications참고 문헌 9인용 수 6

한 줄 요약

이 논문은 단일 데이터베이스 스캔을 통해 최적의 예측 모델에 필요한 모든 패턴의 초집합을 식별하는 효율적인 예측 패턴 마이닝을 위한 새로운 방법인 안전 패턴 프루닝(Safe Pattern Pruning, SPP)을 제안한다. 안전 특성 필터링에서 영감을 얻은 SPP는 예측하지 못하는 패턴과 그 자손 패턴을 보장적으로 제거하는 프루닝 규칙을 사용하여, 반복적인 데이터베이스 스캔이 필요한 부스팅 방법에 비해 계산량을 크게 줄인다.

ABSTRACT

In this paper we study predictive pattern mining problems where the goal is to construct a predictive model based on a subset of predictive patterns in the database. Our main contribution is to introduce a novel method called safe pattern pruning (SPP) for a class of predictive pattern mining problems. The SPP method allows us to efficiently find a superset of all the predictive patterns in the database that are needed for the optimal predictive model. The advantage of the SPP method over existing boosting-type method is that the former can find the superset by a single search over the database, while the latter requires multiple searches. The SPP method is inspired by recent development of safe feature screening. In order to extend the idea of safe feature screening into predictive pattern mining, we derive a novel pruning rule called safe pattern pruning (SPP) rule that can be used for searching over the tree defined among patterns in the database. The SPP rule has a property that, if a node corresponding to a pattern in the database is pruned out by the SPP rule, then it is guaranteed that all the patterns corresponding to its descendant nodes are never needed for the optimal predictive model. We apply the SPP method to graph mining and item-set mining problems, and demonstrate its computational advantage.

연구 동기 및 목표

• 다중 데이터베이스 스캔이 필요한 기존 직접적 접근 방식의 계산 비효율성을 해결한다.
• 패턴 선택과 모델 피팅을 별도로 최적화하는 이중 단계 방법의 한계를 극복하여, 부분 최적의 결과를 초래한다.
• 모든 가능한 패턴에 대한 완전한 탐색 없이도 최적의 예측 모델에 필요한 모든 패턴을 식별하는 방법을 개발한다.
• 패턴 트리의 구조적 특성을 활용하여 고차원 패턴 공간(예: 그래프 및 아이템셋)에서 확장 가능한 예측 패턴 마이닝을 가능하게 한다.

제안 방법

• 최적 모델에 기여하지 못할 경우 패턴과 그 자손 패턴을 보장적으로 제거할 수 있는 새로운 프루닝 규칙인 안전 패턴 프루닝(SPP)을 도입한다.
• 패턴 트리의 단일 순회 중에 SPP 규칙을 적용하여 반복적인 데이터베이스 재스캔이 필요 없도록 한다.
• 볼록 최적화에서의 안전 특성 필터링 개념을 활용하여 패턴을 고려에서 안전하게 제외할 수 있는 조건을 유도한다.
• 패턴 지표에 대한 선형 모델을 사용하여 예측 패턴 마이닝 문제를 희소 학습 과제로 공식화하고, 프루닝된 패턴 집합에서 최적화를 수행한다.
• 정규화 경로를 사용하여 패턴 복잡도를 체계적으로 탐색하며, SPP는 최적화에 필요한 패턴만 유지함으로써 보장한다.
• gSpan(그래프용), Apriori 유사 알고리즘(아이템셋용)과 같은 트리 기반 패턴 생성 알고리즘에 SPP 규칙을 통합하여 패턴 공간의 효율적 탐색을 이끈다.

실험 결과

연구 질문

• RQ1 단일 스캔을 통한 데이터베이스 순회가 패턴 마이닝에서 최적의 예측 모델에 필요한 모든 패턴을 식별할 수 있는가?
• RQ2 특성 선택에서 유래한 안전 필터링 원칙을 데이터베이스 패턴의 계층적 구조에 어떻게 적용할 수 있는가?
• RQ3 패턴과 그 자손을 제거할 때도 최적 모델에 필요한 예측 가능한 패턴을 모두 포함하지 못하는 것을 방지할 수 있는 프루닝 규칙은 무엇인가?
• RQ4 SPP의 계산 비용은 그래프 및 아이템셋 마이닝 작업에서 반복적 부스팅 기반 방법과 비교해 어떻게 되는가?
• RQ5 전통적인 직접적 접근 방식에 비해 SPP는 패턴 순회 수와 최적화 호출 수를 얼마나 줄이는가?

주요 결과

• SPP는 특히 많은 패턴이 활성화되어 있을 경우 부스팅 대비 패턴 트리의 순회 노드 수를 수 개의 주기수만큼 감소시킨다.
• SPP의 계산 시간은 부스팅보다 뚜렷이 낮으며, 주로 정규화 파rameter λ당 한 번의 볼록 최적화 문제를 풀기 때문이며, 부스팅은 각 단계에서 반복적으로 최적화를 수행하기 때문이다.
• 그래프 마이닝 작업(CPDB, mutagenicity, Bergstrom, Karthikeyan)에서 SPP는 부스팅보다 더 빠른 총 계산 시간을 달성했으며, 특히 솔브 시간에서 두드러진 성능 향상을 보였다.
• 아이템셋 마이닝(splice, a9a, dna, protein)에서는 패턴 최대 크기가 증가할수록 순회 시간과 총 계산 시간이 상당히 감소했다.
• SPP 방법은 최종 모델이 최적임을 보장한다. 왜냐하면 최적 집합 A*에 속한 모든 패턴을 유지하기 때문이다. 따라서 예측 능력 손실이 없다.
• 대규모 데이터베이스와 고차원 패턴 공간에서도 계산적으로 효율적이므로, 실세계 예측 패턴 마이닝 응용에 적합하다.