[논문 리뷰] A SAT model to mine flexible sequences in transactional datasets

Rémi Coletta, Benjamin Négrevergne|arXiv (Cornell University)|2016. 04. 01.

Data Mining Algorithms and Applications참고 문헌 10인용 수 3

한 줄 요약

이 논문은 거래 데이터셋에서 유연한 시퀀스를 추출하기 위해 SAT 기반의 정식화를 제안하며, 간격, 범위, 포함 필수 조건과 같은 사용자 정의 제약 조건을 효율적으로 통합할 수 있도록 한다. 표준 SAT 솔버와 상호작용형 해결 방식을 활용함으로써, 닫힘 및 최대 패턴의 확장 가능한 추출을 지원하며, 실제 데이터셋에서 실용적인 성능을 보이며 다양한 응용 분야에 맞는 높은 유연성을 제공한다.

ABSTRACT

Traditional pattern mining algorithms generally suffer from a lack of flexibility. In this paper, we propose a SAT formulation of the problem to successfully mine frequent flexible sequences occurring in transactional datasets. Our SAT-based approach can easily be extended with extra constraints to address a broad range of pattern mining applications. To demonstrate this claim, we formulate and add several constraints, such as gap and span constraints, to our model in order to extract more specific patterns. We also use interactive solving to perform important derived tasks, such as closed pattern mining or maximal pattern mining. Finally, we prove the practical feasibility of our SAT model by running experiments on two real datasets.

연구 동기 및 목표

• 기존의 시퀀스 추출 알고리즘에서 사용자 정의 제약 조건을 지원하지 못하는 유연성 부족 문제를 해결하기 위해.
• 문제를 부울 공식으로 인코딩함으로써 SAT 솔버가 시퀀스 추출 문제를 효과적으로 처리할 수 있음을 보여주기 위해.
• 간격, 범위, 포함 필수 등의 다양한 제약 조건을 하나의 확장 가능한 프레임워크에 통합할 수 있도록 하기 위해.
• 상호작용형 SAT 해결을 통해 닫힘 및 최대 패턴과 같은 파생된 추출 작업을 지원하기 위해.
• 실제 거래 데이터셋에서 SAT 기반 접근 방식의 타당성과 성능을 평가하기 위해.

제안 방법

• 시퀀스 추출 문제를 순수 부울 SAT 공식으로 인코딩하여, 시퀀스와 그들의 트랜잭션 내 임bedding을 명제 변수로 표현한다.
• 간격 및 범위와 같은 제약 조건은 추가적인 부울 문장으로 표현되어 유효한 임bedding를 제한하고 검색 공간을 단순화한다.
• 포함 필수 조건은 특정 아이템이 시퀀스의 지정된 위치에 나타나야 한다고 요구함으로써 인코딩된다.
• 상호작용형 SAT 해결을 통해 반복적으로 솔버를 질의함으로써, 전체 추출 과정을 다시 실행하지 않고도 닫힘 및 최대 패턴을 효율적으로 추출할 수 있다.
• 모델은 그루스코프(SAT 솔버)를 사용하여 효율성과 점진적 해결 기능을 활용하여 구현된다.
• 정확성과 성능에 영향을 주지 않으면서도 임의의 제약 조합을 지원한다.

실험 결과

연구 질문

• RQ1 사용자 정의 제약 조건을 효과적으로 통합할 수 있도록 시퀀스 추출 문제를 SAT 문제로 효과적으로 정식화할 수 있는가?
• RQ2 간격, 범위, 포함 필수와 같은 사용자 정의 제약 조건이 솔버 성능과 검색 공간 단순화에 어떤 영향을 미치는가?
• RQ3 상호작용형 SAT 해결을 통해 닫힘 및 최대 패턴과 같은 유형의 파생 패턴을 효율적으로 추출할 수 있는가?
• RQ4 실제 데이터셋에서 전용 알고리즘과 비교해 볼 때 SAT 기반 접근 방식의 성능는 어떠한가?
• RQ5 복잡한 응용 분야 전용 제약 조건을 처리할 때 SAT 모델이 얼마나 확장 가능하고 효율적인가?

주요 결과

• SAT 기반 접근 방식은 복잡한 시퀀스 추출 문제를 부울 공식으로 효과적으로 정식화하여, 표준 SAT 솔버를 활용한 패턴 탐색을 가능하게 한다.
• 간격 및 범위 제약 조건의 추가로 검색 공간이 크게 단순화되고, 특히 T100와 같은 큰 데이터셋에서는 해결 시간이 크게 감소한다.
• 일반적인 제약 조건과 2-gap 제약 조건의 조합은 추출 시간을 극적으로 감소시켜 뛰어난 성능 향상을 보였다.
• Gazelle-500 데이터셋에서는 시퀀스가 매우 짧기 때문에 간격 및 범위 제약 조건의 영향이 미미하지만, 성능 저하 없이도 안정적으로 작동한다.
• 상호작용형 해결을 통해 전체 재계산 없이도 닫힘 및 최대 패턴을 효율적으로 추출할 수 있어 결과의 중복을 줄였다.
• 이 접근 방식은 확장 가능하고 매우 민감하며, 정확성에 손상 없이도 임의의 제약 조합을 결합할 수 있다.