[논문 리뷰] On the Complexity of Mining Itemsets from the Crowd Using Taxonomies

Antoine Amarilli, Yael Amsterdamer외 1명|arXiv (Cornell University)|2013. 12. 11.

Data Mining Algorithms and Applications참고 문헌 38인용 수 13

한 줄 요약

이 논문은 인간의 지식에서 인과적 요소를 코어로 삼아 커뮤니티 기반으로 자주 발생하는 항목집합을 추출하는 데 필요한 복잡도를 연구한다. 분류 체계를 기반으로 하며, 커뮤니티 복잡도(커뮤니티에 대한 질의 수)와 계산 복잡도(질의를 선택하는 데 드는 노력)를 측정하는 이론적 프레임워크를 제안한다. 이는 날카운 복잡도 경계와 효율적인 알고리즘을 제공하며, 분류 체계의 구조를 활용해 질의 오버헤드를 줄인다.

ABSTRACT

We study the problem of frequent itemset mining in domains where data is not recorded in a conventional database but only exists in human knowledge. We provide examples of such scenarios, and present a crowdsourcing model for them. The model uses the crowd as an oracle to find out whether an itemset is frequent or not, and relies on a known taxonomy of the item domain to guide the search for frequent itemsets. In the spirit of data mining with oracles, we analyze the complexity of this problem in terms of (i) crowd complexity, that measures the number of crowd questions required to identify the frequent itemsets; and (ii) computational complexity, that measures the computational effort required to choose the questions. We provide lower and upper complexity bounds in terms of the size and structure of the input taxonomy, as well as the size of a concise description of the output itemsets. We also provide constructive algorithms that achieve the upper bounds, and consider more efficient variants for practical situations.

연구 동기 및 목표

• 구조화된 데이터베이스가 존재하지 않는 인간 기억에 저장된 데이터에서 자주 발생하는 항목집합을 추출하는 문제를 체계화한다.
• 항목집합 빈도에 대한 질의에 응답하는 오라클로 간주되는 커뮤니티를 모델링하여, 이러한 질의 수를 최소화한다.
• 커뮤니티 복잡도(질의 수)와 계산 복잡도(질의 선택에 드는 노력) 사이의 상호 상충 관계를 분석한다.
• 예를 들어 '소속관계' 계층 구조인 의미론적 분류 체계를 활용하여, 유사한 항목집합 간의 빈도 전파를 통해 중복 질의를 줄인다.
• 분류 체계 하에서 모든 자주 발생하는 항목집합을 식별하는 데 필요한 복잡도에 대해 날카운 이론적 경계를 설정하고, 이러한 경계에 도달하는 구조적 알고리즘을 제시한다.

제안 방법

• 항목 도메인을 부분적 '소속관계' 계층으로 모델링하여 항목 간의 의미적 관계를 표현한다.
• 항목집합에 대한 빈도 조건을 정의하고, 만약 어떤 항목집합이 빈도가 높다면, 분류 체계 내에서 그 슈퍼셋 역시 빈도가 높다는 성질(유전적 성질)을 활용한다.
• 최소 빈도 항목집합(MFI)과 최대 비빈도 항목집합(MII)을 핵심 구조적 구성 요소로 삼아 질의 수의 경계를 설정한다.
• 이전 답변에 기반해 동적으로 질의를 선택하는 인터랙티브이고 적응형 알고리즘을 설계하여 총 커뮤니티 상호작용 수를 줄인다.
• 특히 EQ 문제(극단적 집합의 열거)와 관련하여 복잡도를 분석하기 위해 초그래프 탐색 및 이중성 기반 기법을 적용한다.
• 분류 체계의 구조를 활용하여 상한선에 도달하는 구조적 알고리즘을 제공하며, 실용적 구현을 위한 최적화를 포함한다.

실험 결과

연구 질문

• RQ1 분류 체계를 활용해 탐색을 유도할 때, 모든 자주 발생하는 항목집합을 식별하기 위해 필요한 최소 커뮤니티 질의 수는 얼마인가?
• RQ2 분류 체계의 구조(예: 깊이, 분기 계수)는 커뮤니티 복잡도와 계산 복잡도에 어떤 영향을 미치는가?
• RQ3 분류 체계 내 의미론적 관계를 활용함으로써 최적 또는 근접 최적의 질의 복잡도를 달성할 수 있는가?
• RQ4 질의 수와 그 질의를 선택하는 데 드는 계산 노력 사이의 상호 상충 관계는 어떠한가?
• RQ5 특정 분류 체계 조각에 국한하거나 항목집합 크기를 제한하는 등의 제약 조건이 적용될 경우 복잡도 경계는 어떻게 변화하는가?

주요 결과

• 커뮤니티 복잡도는 |S(Ψ)|의 크기, 즉 분류 체계에 의해 유도되는 가능한 모든 항목집합의 집합 크기의 로그에 대해 하한선 Ω(log |S(Ψ)|)으로 제한된다.
• 또한 커뮤니티 복잡도는 최소 빈도 항목집합(MFI)과 최대 비빈도 항목집합(MII)의 크기 합에 대해 하한선 Ω(|MFI| + |MII|)으로 제한된다.
• 커뮤니티 복잡도의 상한선은 O(log |S(Ψ)|)이며, 이는 날카운 경계이며, 분류 체계의 구조를 활용하는 구조적 알고리즘을 통해 달성 가능하다.
• 계산 복잡도는 MFI 및 MII 집합을 계산하는 데 소요되는 시간에 의해 제한되며, 이러한 경계에 도달하는 효율적인 알고리즘이 존재한다.
• 분류 체계의 활용은 계층을 따라 빈도 정보를 전파함으로써 질의 수를 크게 줄여주며, 중복 질의를 방지한다.
• 문제가 EQ-난이도를 지닌 것으로 밝혀졌으며, 이는 초그래프에서 극단적 집합을 열거하는 기본 문제와 연결되며, 일반적으로는 열려 있지만 분류 체계 제약 조건 하에서는 해석 가능하다.