[논문 리뷰] An Optimized Weighted Association Rule Mining On Dynamic Content

P. Velvadivu, Karthik Duraisamy|arXiv (Cornell University)|2010. 04. 20.

Data Mining Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 일반화된 HITS 알고리즘과 온라인 고유벡터 계산을 통합하여 동적 데이터베이스를 위한 최적화된 가중치가 부여된 연관 규칙 마이닝 방법을 제안한다. 기존의 WARM을 향상시켜 방향성 있는 그래프 모델을 통해 항목에 동적 가중치를 할당하고 빈번한 데이터 변화가 발생하는 환경에서도 순위를 효율적으로 갱신하며, 고전적인 HITS보다 동적 환경에서 뛰어난 효율성을 입증한다.

ABSTRACT

Association rule mining aims to explore large transaction databases for association rules. Classical Association Rule Mining (ARM) model assumes that all items have the same significance without taking their weight into account. It also ignores the difference between the transactions and importance of each and every itemsets. But, the Weighted Association Rule Mining (WARM) does not work on databases with only binary attributes. It makes use of the importance of each itemset and transaction. WARM requires each item to be given weight to reflect their importance to the user. The weights may correspond to special promotions on some products, or the profitability of different items. This research work first focused on a weight assignment based on a directed graph where nodes denote items and links represent association rules. A generalized version of HITS is applied to the graph to rank the items, where all nodes and links are allowed to have weights. This research then uses enhanced HITS algorithm by developing an online eigenvector calculation method that can compute the results of mutual reinforcement voting in case of frequent updates. For Example in Share Market Shares price may go down or up. So we need to carefully watch the market and our association rule mining has to produce the items that have undergone frequent changes. These are done by estimating the upper bound of perturbation and postponing of the updates whenever possible. Next we prove that enhanced algorithm is more efficient than the original HITS under the context of dynamic data.

연구 동기 및 목표

• 기존의 연관 규칙 마이닝 기법이 항목의 중요성과 거래의 중요성을 간과하는 데서 비롯되는 한계를 해결하기 위해.
• 실제 세계의 요소인 수익성 또는 프ом모션과 같은 요소를 반영한 항목 가중치를 포함하는 가중치가 부여된 연관 규칙 마이닝 모델을 개발하기 위해.
• 주식 시장처럼 자주 데이터가 갱신되는 동적 데이터베이스에서 항목 순위 갱신을 효율적이고 점진적으로 가능하게 하기 위해.
• 변동성 기반 업데이트 유예 및 상한 추정을 통해 HITS 알고리즘의 계산 효율성을 동적 환경에서 향상시키기 위해.

제안 방법

• 항목과 연관 규칙을 가중치가 부여된 방향성 있는 그래프로 모델링하여, 노드는 항목을 나타내고 간선은 규칙 간 관계를 나타낸다.
• 가중치가 부여된 노드와 간선을 지원하는 일반화된 HITS 알고리즘을 적용하여 항목의 중요도 점수를 계산한다.
• 각 업데이트 후 전체 재계산을 피하기 위해 온라인 고유벡터 계산 방법을 도입한다.
• 고유벡터 변화의 변동성 상한을 추정하여 불필요한 업데이트를 유예할 수 있는지를 판단한다.
• 변동성이 허용 가능한 범위 내에 유지될 경우 업데이트를 유예함으로써 동적 데이터 스트림에서의 효율성을 향상시킨다.
• 반복적 계산을 통한 상호 강화 투표를 통해 정확하고 최신 상태의 항목 순위를 유지한다.

실험 결과

연구 질문

• RQ1 빈번한 업데이트가 발생하는 동적 데이터베이스에 대해 가중치가 부여된 연관 규칙 마이닝을 어떻게 최적화할 수 있는가?
• RQ2 수익성 또는 프ом모션과 같은 항목 가중치가 규칙 마이닝의 정확도와 관련성에 어떤 영향을 미치는가?
• RQ3 점진적인 고유벡터 계산은 동적 환경에서 HITS의 효율성을 향상시킬 수 있는가?
• RQ4 변동성 경계는 온라인 규칙 마이닝에서 불필요한 재계산을 최소화하는 데 어떻게 활용될 수 있는가?
• RQ5 동적 데이터 시나리오에서 향상된 HITS 알고리즘은 고전적인 HITS보다 어떤 성능 향상을 달성하는가?

주요 결과

• 제안된 향상된 HITS 알고리즘은 불필요한 업데이트 주기를 줄임으로써 동적 데이터 환경에서 원래의 HITS보다 더 높은 효율성을 달성한다.
• 변동성 기반 상한 추정이 성공적으로 업데이트를 유예할 수 있는지를 식별함으로써 순위 정확도에 상당한 손실 없이도 유지를 가능하게 했다.
• 온라인 고유벡터 계산은 계산 오버헤드를 최소화하면서도 데이터 변화에 실시간으로 대응할 수 있도록 한다.
• 가중치가 부여된 방향성 있는 그래프의 통합은 사업적 또는 시장적 관련성을 반영한 더 정확하고 맥락 인식 능력이 향상된 항목 순위를 가능하게 한다.
• 이 방법은 주식 시장 변동성과 같은 동적 데이터를 효과적으로 처리하며, 적시적이고 관련성이 높은 연관 규칙를 유지한다.
• 실증 결과는 최적화된 접근 방식이 업데이트 빈도와 계산 비용 측면에서 표준 HITS보다 뛰어나다는 것을 확인했다.