[논문 리뷰] Mining high on-shelf utility itemsets with negative values from dynamic updated database

Anjali N. Radkar, Sayali Pawar|arXiv (Cornell University)|2015. 07. 07.

Data Mining Algorithms and Applications참고 문헌 12인용 수 3

한 줄 요약

이 논문은 시간에 따라 변화하는 시계열 데이터베이스에서 음수 이익을 가진 항목을 포함한 고온재고 유틸리티 아이템세트를 동적으로 탐지하는 알고리즘을 제안한다. 전체를 다시 실행하는 대신 결과를 점진적으로 갱신함으로써 계산 오버헤드를 크게 줄이며, 시간에 따라 변화하는 아이템세트 유틸리티를 정확하게 포착한다. 이는 음수 유틸리티 값을 가진 항목까지 포함한다.

ABSTRACT

Utility mining emerged to overcome the limitations of frequent itemset mining by considering the utility of an item. Utility of an item is based on user's interest or preference. Recently, temporal data mining has become a core technical data processing technique to deal with changing data. On-shelf utility mining considers on-shelf time period of item and gets the accurate utility values of itemsets in temporal database. In traditional on-shelf utility mining, profits of all items in databases are considered as positive values. However, in real applications, some items may have negative profit. Most of the traditional algorithms are used to handle static database. In practical situations, temporal databases are continually appended or updated. High on-shelf utility itemsets needs to be updated. Re-running the temporal mining algorithm every time is ineffective since it neglects previously discovered itemsets. It repeats the work done previously. In this paper, an effective algorithm is proposed to find high on-shelf utility itemsets with negative values from the dynamic updated temporal database.

연구 동기 및 목표

• 기존의 온재고 유틸리티 탐지 기법이 항목의 이익이 모두 양수라는 가정을 하고 있다는 한계를 해결하기 위해.
• 지속적으로 업데이트되는 시계열 데이터베이스에서 고유틸리티 아이템세트를 효율적으로 탐지할 수 있도록 하기 위해.
• 실제 상황을 반영하기 위해 항목에 대한 음수 유틸리티 값(손실 또는 비용)을 지원하기 위해.
• 전체 데이터베이스를 다시 처리하는 대신 결과를 점진적으로 갱신함으로써 계산 비용을 줄이기 위해.
• 항목의 수명 기간과 항목별 수익/손실 값을 모두 고려함으로써 유틸리티 추정의 정확성을 유지하기 위해.

제안 방법

• 항목에 대한 음수 유틸리티 값을 포함하도록 온재고 유틸리티 모델을 확장하여 비용이나 손실을 반영한다.
• 이전에 발견된 아이템세트를 활용해 재계산을 방지하는 점진적 업데이트 메커니즘을 도입한다.
• 온재고 기간과 유틸리티 값에 기반해 아이템세트 유틸리티를 추적하기 위해 동적 구조를 유지한다.
• 시간에 걸쳐 항목 유틸리티를 집계하는 유틸리티 계산 방식을 적용하여 양수 및 음수 기여도를 모두 고려한다.
• 점진적 업데이트 중 검색 공간을 줄이기 위해 유틸리티 범위 기반의 가지치기 전략을 적용한다.
• 새로운 또는 수정된 트랜잭션을 효율적으로 처리하기 위해 트랜잭션 기반 업데이트 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 온재고 유틸리티 탐지 기법을 음수 유틸리티 값을 가진 항목까지 확장할 수 있는가?
• RQ2 동적으로 업데이트되는 시계열 데이터베이스에서 고온재고 유틸리티 아이템세트를 효율적으로 유지하는 방법은 무엇인가?
• RQ3 점진적 업데이트 방식은 데이터베이스 변경 후 유틸리티 탐지 알고리즘의 재실행 비용을 줄일 수 있는가?
• RQ4 음수 유틸리티 값의 포함이 탐지된 아이템세트의 정확성과 완전성에 어떤 영향을 미치는가?
• RQ5 점진적 업데이트 과정에서 이전에 발견된 아이템세트를 효과적으로 재사용하기 위한 메커니즘은 무엇인가?

주요 결과

• 이전 결과를 재사용하고 중복 계산을 최소화함으로써 전체 재처리 대비 뚜렷한 성능 향상을 달성한다.
• 실제 비즈니스 환경에서의 손실이나 비용을 반영하기 위해 음수 유틸리티 값을 가진 아이템세트를 정확히 포착한다.
• 점진적 업데이트 방식은 특히 자주 업데이트되는 데이터베이스에서 배치 처리 대비 시간 복잡도를 감소시킨다.
• 온재고 지속 기간과 유틸리티의 부호(양수/음수)를 모두 고려함으로써 고유틸리티 아이템세트를 정밀하게 유지한다.
• 실증 평가 결과, 점진적 접근 방식은 데이터베이스 크기와 업데이트 빈도 증가에 따라 더 잘 스케일링된다.
• 변경되는 거래 데이터를 처리하는 실시간 또는 근접 실시간 데이터 마이닝 응용 분야에 실용적으로 구현 가능하다.