[논문 리뷰] On Finding Minimal Infrequent Elements in Multi-dimensional Data Defined over Partially Ordered Sets

Khaled Elbassioni|arXiv (Cornell University)|2014. 11. 09.

Data Mining Algorithms and Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 부분순서집합(POSets)에 정의된 속성을 가진 다차원 데이터베이스에서 최소 희귀 요소를 효율적으로 탐지하기 위한 알고리즘을 제안한다. 이는 정량적, 범주형, 간격 기반 데이터에서 희귀 연관성과 희소 영역을 식별할 수 있도록 한다. 방법은 POSet 곱에 대한 트리 분해와 이중화 기법을 활용하여 최소 희귀 아이템세트를 증명 가능하게 효율적으로 열거하며, 복잡한 데이터 구조에서 희귀 패턴을 채굴하기 위한 확장 가능한 솔루션을 제공한다.

ABSTRACT

We consider databases in which each attribute takes values from a partially ordered set (poset). This allows one to model a number of interesting scenarios arising in different applications, including quantitative databases, taxonomies, and databases in which each attribute is an interval representing the duration of a certain event occurring over time. A natural problem that arises in such circumstances is the following: given a database $\mathcal{D}$ and a threshold value $t$, find all collections of "generalizations" of attributes which are "supported" by less than $t$ transactions from $\mathcal{D}$. We call such collections infrequent elements. Due to monotonicity, we can reduce the output size by considering only \emph{minimal} infrequent elements. We study the complexity of finding all minimal infrequent elements for some interesting classes of posets. We show how this problem can be applied to mining association rules in different types of databases, and to finding "sparse regions" or "holes" in quantitative data or in databases recording the time intervals during which a re-occurring event appears over time. Our main focus will be on these applications rather than on the correctness or analysis of the given algorithms.

연구 동기 및 목표

• 부분순서집합(POSets)에 정의된 속성을 가진 데이터베이스에서 희귀 연관성을 식별하는 데 도전하는 것, 특히 정량적, 범주형, 간격 기반 데이터를 포함하여.
• 희귀 요소에 초점을 맞추어 빈도가 높은 요소 대신 최소 희귀 요소를 고려함으로써 연관 규칙 채굴에서의 중복을 줄이는 것.
• 다차원 데이터에서 부족한 값 조합이 존재하는 '구멍' 또는 희소 영역을 식별하는 것, 예를 들어 부족한 시간 간격이나 값 범위를 포함하여.
• POSet 기반 데이터베이스에서 속성 값의 일반화를 통해 일반화된 연관성을 채굴하기 위한 일반적인 프레임워크를 제공하는 것.
• 데이터 복잡성과 POSet 구조에 따라 확장 가능한 최소 희귀 요소의 열거 알고리즘을 개발하는 것.

제안 방법

• 각 속성의 도메인을 유한한 부분순서집합(POSet)으로 모델링하여 계층적, 간격 기반, 정량적 속성을 통합된 프레임워크 내에서 표현할 수 있도록 한다.
• 검색 공간을 분할하고 계산 복잡도를 감소시키기 위해 트리 구조를 가진 POSet(MSTP) 기반의 재귀적 분해 전략을 도입한다.
• POSet 곱에서 반사집합의 이중성 검증을 위해 이중화 기법을 사용하여 최소 희귀 요소를 식별하는 데 있어 정확성을 확보한다.
• 상대 빈도를 사용하여 지지도 임계값을 계산한다: ε^A = |A_≥(a_i)| / |A| 와 ε^B = |B_¬≥(a_i)| / |B|, 이는 재귀적 분해 결정을 안내한다.
• 임계값 비교에 기반하여 POSet를 하위 구성요소(Q_i', Q_i'')로 동적으로 분할함으로써 병렬 및 증분 처리를 가능하게 한다.
• 완전성과 중복 계산 방지를 위해 축소된 POSet 구성요소에 대해 위상 정렬과 재귀적 부분문제 해결을 적용한다.

실험 결과

연구 질문

• RQ1 부분순서집합에 정의된 속성을 가진 다차원 데이터베이스에서 최소 희귀 요소를 어떻게 효율적으로 열거할 수 있는가?
• RQ2 특히 속성이 간격 또는 정량적 범위를 나타낼 경우, POSet 기반 데이터베이스에서 희귀 연관성을 채굴하는 데 있어 계산 복잡도는 어떻게 되는가?
• RQ3 이 프레임워크는 정량적 데이터에서 특정 값 조합이 부족한 '희소 영역' 또는 '구멍'을 탐지할 수 있는가?
• RQ4 기존의 이진화 기반 접근 방식에 비해 POSet 일반화를 사용할 경우 의미 있는 희귀 연관성을 더 잘 탐지할 수 있는가?
• RQ5 희귀 요소의 효율적 열거를 위해 근본적인 검색 없이도 확장 가능한 알고리즘 기법은 무엇인가?

주요 결과

• 제안된 알고리즘은 트리 분해와 이중화 기법을 활용하여 다차원 POSet 데이터베이스에서 최소 희귀 요소를 효율적으로 열거하며, 검색 공간을 크게 줄인다.
• 지지도 임계값 ε^A 와 ε^B 를 기반으로 하는 재귀적 분해를 통해 정확성을 확보하여 최소 희귀 요소를 놓치지 않는다.
• 정량적 데이터, 특히 시간 간격 기반 데이터베이스에서 특정 사용 패턴 조합이 드물게 관찰되는 희소 영역 탐지가 가능하다.
• 속성 값의 POSet 계층에서 상위 수준의 카테고리로의 추상화를 허용함으로써 일반화된 연관 규칙를 지원한다.
• 트리 형태의 POSet를 가진 경우, 특정 조건 하에서 다항식 지연 시간과 공간 복잡도를 달성하여 대규모 데이터 채굴에 적합하다.
• 기존의 접근 방식을 일반화하여 범주형, 정량적, 계층적 데이터 모델을 단일한 POSet 기반 형식론 아래에 통합한다.