[논문 리뷰] Interactive Constrained Association Rule Mining

Bart Goethals, Jan Van den Bussche|ArXiv.org|2001. 12. 10.

Data Mining Algorithms and Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 반복적인 제약 조건이 있는 연관 규칙 탐사에서 이전에 생성된 아이템세트를 재사용함으로써 중복 계산을 크게 줄이는 인크리멘탈 쿼리 처리 기반 접근법을 제안한다. 쿼리 제약 조건을 탐사 과정에 직접 통합하고 결과를 캐시함으로써, 특히 쿼리가 특정하거나 제약 조건 없이 탐사하는 것이 아이템세트 수가 너무 많아 불가능한 경우, 순수 통합 쿼리 처리보다 뛰어난 성능을 달성한다.

ABSTRACT

We investigate ways to support interactive mining sessions, in the setting of association rule mining. In such sessions, users specify conditions (queries) on the associations to be generated. Our approach is a combination of the integration of querying conditions inside the mining phase, and the incremental querying of already generated associations. We present several concrete algorithms and compare their performance.

연구 동기 및 목표

• 상호작용형 데이터 탐사 세션에서 사용자 쿼리마다 전체 탐사 과정을 반복적으로 재실행하는 데서 발생하는 비효율성을 해결하기 위해.
• 특히 제약 조건이 있는 탐사 환경에서 사용자가 지정한 조건을 만족하지 못하는 아이템세트의 중복 생성을 줄이기 위해.
• 단일 탐사 세션 내에서 여러 쿼리 간에 이전에 계산된 결과를 효율적으로 재사용할 수 있도록 하기 위해.
• 아이템세트 생성 및 데이터베이스 스캔 등의 성능 메트릭을 기준으로 통합 쿼리, 후처리, 인크리멘탈 쿼리 세 가지 접근법을 비교 및 평가하기 위해.
• 제약 조건 없이 전체 탐사가 계산적으로 불가능한 경우에도 실용적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 사용자가 지정한 부울 제약 조건(규칙 헤드/바디 내 아이템 존재 여부, 지지도, 신뢰도)을 빈번한 아이템세트 탐사 과정에 직접 통합한다.
• 이전에 생성된 아이템세트를 캐시하여 쿼리 간에 재사용함으로써 중복 계산을 방지하는 캐싱 메커니즘을 적용한다.
• 이전에 만족된 쿼리의 디스junctional 정규형(DNF) 표현을 사용하여 논리적 부정을 통해 새로 생성되지 않은 아이템세트 집합을 효율적으로 계산한다.
• 캐시된 쿼리에서 가장 느슨한 조건을 가진 디스junction을 선택하는 히우리스틱을 적용하여 복잡한 쿼리 표현의 성장률을 제한한다.
• 탐사 중 제약 조건 기반 프루닝과 인크리멘탈 결과 재사용을 결합하여 데이터베이스 스캔과 후보 아이템세트 생성을 모두 최소화한다.
• 하이브리드 전략을 활용: 초기에는 제약 조건 인식 탐사를 위해 통합 쿼리 처리를 사용하고, 성능 향상이 확인되면 인크리멘탈 재사용으로 전환한다.

실험 결과

연구 질문

• RQ1 여러 쿼리 간에 이전에 계산된 결과를 재사용함으로써 상호작용형 탐사 세션의 효율성을 높일 수 있는가?
• RQ2 아이템세트 생성 및 데이터베이스 스캔 측면에서 인크리멘탈 쿼리 처리의 성능이 통합 쿼리 처리 및 후처리 접근법과 비교해 어떻게 되는가?
• RQ3 탐사 단계에서 쿼리 제약 조건을 활용하면 최적의 성능을 달성할 수 있는가, 특히 쿼리가 점점 더 구체화될 경우에?
• RQ4 후처리 접근법이 통합 쿼리 처리를 능가하는 조건은 언제이며, 인크리멘탈 쿼리 처리가 가장 좋은 선택인 경우는 언제인가?
• RQ5 제약 조건 없이 전체 탐사가 아이템세트 수가 너무 많아 불가능한 경우에도 인크리멘탈 접근법이 이를 처리할 수 있는가?

주요 결과

• 인크리멘탈 쿼리 처리 접근법은 이전에 생성된 아이템세트를 재사용함으로써 순수 통합 쿼리 처리보다 일관되게 뛰어난 성능을 보이며, 쿼리 간 중복 계산을 줄인다.
• 쿼리 실행 중 생성된 아이템세트 수는 쿼리의 제약 수준에 비례하므로, 더 특정적인 쿼리일수록 실행 속도가 빨라진다.
• 데이터베이스 스캔 및 데이터베이스의 유효 크기는 쿼리 제약 조건의 강도에 비례해 감소하여 확장성 향상이 이루어진다.
• 모든 테스트 데이터셋에서 인크리멘탈 접근법은 20번째 쿼리 이후부터 통합 쿼리 처리를 능가하기 시작한다. 단, 버섯 데이터셋의 경우 5번째 쿼리에서 Break-even 지점에 도달한다.
• 제약 조건 없이 탐사가 가능할 경우 후처리 접근법이 최적일 수 있지만, 빈번한 아이템세트 수가 너무 많아지면 더 이상 실행이 불가능해진다.
• 낮은 지지도 임계값 조건에서도 제약 조건 기반 쿼리로 작업을 분할함으로써 탐사가 가능해지며, 이는 Eclat 및 FP-growth와 같은 알고리즘의 기초가 된다.