[논문 리뷰] Incremental Maintenance Of Association Rules Under Support Threshold Change

Mohamed Anis Bach Tobji, Mohamed Salah Gouider|arXiv (Cornell University)|2017. 01. 27.

Data Mining Algorithms and Applications참고 문헌 11인용 수 5

한 줄 요약

이 논문은 지원 임계값이 변경될 때 연관 규칙을 유지하기 위한 점진적 알고리즘을 제안하며, 기존 방법이 정적 임계값을 가정하는 데서 발생하는 격차를 해결한다. 이전에 계산된 빈도 높은 항목집합을 활용하고 동적 프루닝을 적용하여 규칙 기반을 효율적으로 업데이트함으로써, 전체 재계산 대비 높은 성능 향상을 이룩하며 최소한의 오버헤드를 유발한다.

ABSTRACT

Maintenance of association rules is an interesting problem. Several incremental maintenance algorithms were proposed since the work of (Cheung et al, 1996). The majority of these algorithms maintain rule bases assuming that support threshold doesn't change. In this paper, we present incremental maintenance algorithm under support threshold change. This solution allows user to maintain its rule base under any support threshold.

연구 동기 및 목표

• 기존의 점진적 연관 규칙 유지 알고리즘이 고정된 지원 임계값을 가정하는 한계를 해결하기 위해.
• 사용자가 지정한 지원 임계값이 변경될 경우에도 효율적이고 동적일 수 있는 연관 규칙 유지 기능을 제공하기 위해.
• 임계값 변경 후 전체 재계산을 피하여 계산 오버헤드를 줄이기 위해.
• 임계값 조정에 따라 필요한 부분만 점진적으로 업데이트하는 방법을 설계하기 위해.

제안 방법

• 알고리즘은 이전에 계산된 빈도 높은 항목집합의 캐시를 유지하고 이를 점진적 업데이트의 기초로 사용한다.
• 새로운 지원 임계값을 충족할 수 없는 후보 항목집합을 제거하기 위해 동적 프루닝 기법을 적용한다.
• 지원 임계값의 변화를 추적하고 영향을 받는 항목집합과 규칙들만 선택적으로 재평가한다.
• 업데이트 중 비모순성 성질을 활용하여 비모순 후보를 효율적으로 걸러낸다.
• 기존의 연관 규칙 추출 프레임워크와 통합하여 임계값 적응을 원활하게 구현한다.
• 효율적인 스캔 연산을 사용하여 모든 업데이트된 규칙이 새로운 지원 임계값을 충족하는지 검증함으로써 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 지원 임계값이 변경될 경우 연관 규칙을 어떻게 점진적으로 유지할 수 있는가?
• RQ2 임계값 변경 후 규칙 기반을 업데이트하기 위해 필요한 최소한의 계산 오버헤드는 얼마인가?
• RQ3 임계값 조정 후 빈도 높은 항목집합과 규칙을 전체 재계산 없이 피할 수 있는가?
• RQ4 다양한 임계값 변화 상황에서 점진적 접근 방식의 성능은 배치 처리에 비해 어떻게 비교되는가?
• RQ5 임계값 업데이트 후 업데이트된 규칙 세트의 정확성과 완전성을 보장하는 메커니즘은 무엇인가?

주요 결과

• 제안된 알고리즘은 지원 임계값 변경 후 배치 재처리 대비 계산 비용을 크게 감소시킨다.
• 점진적 접근은 중간 정도의 임계값 조정에 대해 실행 시간을 최대 70%까지 단축시킨다.
• 다중 임계값 업데이트 동안에도 규칙 기반의 정확성과 완전성을 유지한다.
• 데이터베이스의 트랜잭션 크기가 증가함에 따라 및 다양한 임계값 설정에 대해 잘 스케일링된다.
• 캐시된 빈도 높은 항목집합과 동적 프루닝의 활용으로 중복 스캔를 줄이고 효율성을 향상시킨다.