[논문 리뷰] Combining Clustering techniques and Formal Concept Analysis to characterize Interestingness Measures

Dhouha Grissa, Sylvie Guillaume외 1명|arXiv (Cornell University)|2010. 08. 21.

Rough Sets and Fuzzy Logic참고 문헌 22인용 수 5

한 줄 요약

이 논문은 계층적(АHC) 및 분할 기반(k-means) 군집화에서 유도된 흥미로움 측정법(IMs)의 유효성과 정제를 위한 형식개념분석(FCA) 기반 프레임워크를 제안한다. 61개의 IMs와 19개의 의미적 성질을 형식적 맥락으로 모델링함으로써 FCA는 안정적이고 의미적으로 일관된 군집을 드러내며, АHC/k-means 결과를 검증하고 의심스럽거나 분할된 군집을 식별한다. 이는 지식 탐색에서 IM 선택을 위한 원칙적인 방법을 제공한다.

ABSTRACT

Formal Concept Analysis "FCA" is a data analysis method which enables to discover hidden knowledge existing in data. A kind of hidden knowledge extracted from data is association rules. Different quality measures were reported in the literature to extract only relevant association rules. Given a dataset, the choice of a good quality measure remains a challenging task for a user. Given a quality measures evaluation matrix according to semantic properties, this paper describes how FCA can highlight quality measures with similar behavior in order to help the user during his choice. The aim of this article is the discovery of Interestingness Measures "IM" clusters, able to validate those found due to the hierarchical and partitioning clustering methods "AHC" and "k-means". Then, based on the theoretical study of sixty one interestingness measures according to nineteen properties, proposed in a recent study, "FCA" describes several groups of measures.

연구 동기 및 목표

• 이차적 규칙 마이닝에서 가용한 선택지가 많을 때 적절한 흥미로움 측정법(IMs)을 선택하는 데 도전 과제를 해결하기 위해.
• 기본 이론 기반의 공식적 접근을 사용하여 전통적인 군집화 방법(АHC 및 k-means)을 IMs에 적용한 결과를 검증하기 위해.
• 19개의 의미 기준을 바탕으로 유사한 행동 성질을 가진 안정적이고 의미적으로 일관된 IMs 군집을 식별하기 위해.
• 연구자와 실무자들이 효과적인 지식 탐색을 위해 고품질의 IMs를 평가하고 선택할 수 있도록 신뢰할 수 있는 방법을 제공하기 위해.

제안 방법

• 61개의 IMs(객체)와 19개의 의미적 성질(속성)으로 구성된 61×19 행렬에서 형식적 맥락을 구성하며, 해당 셀은 특정 IM이 성질를 만족하는지 여부를 나타낸다.
• 형식개념분석(FCA)을 적용하여 공통된 성질 기반으로 IMs의 개념적 관계와 계층적 군집을 드러내는 개념 래티스를 생성한다.
• 래티스 시각화를 통해 АHC 및 k-means가 식별한 군집의 타당성 또는 의심을 평가하며, 특히 군집의 밀도와 경계의 모호성 여부를 분석한다.
• 군집의 구성원과 근접도를 분석하기 위해 핵심 개념 노드(예: C9, C5, C2)를 선택하여 안정적인 군집 대비 의심스러운 군집을 식별한다.
• 모든 군집 구성원이 동일한 의도(속성 집합)를 공유하는지 확인하여 군집의 안정성을 평가하고, 외부 측정법이 군집에 얼마나 가까운지 평가한다.
• 래티스에서 여러 군집에 가까운 위치에 있는 특정 IMs(예: 재현율, 정보 이득)의 위치를 분석함으로써 군집 할당의 모호성을 규명한다.

실험 결과

연구 질문

• RQ1 FCA는 АHC 및 k-means 군집화로 생성된 흥미로움 측정법의 군집을 효과적으로 검증할 수 있는가?
• RQ2 공통된 성질을 공유함으로써 강한 의미적 공명성을 보이는 흥미로움 측정법 군집은 무엇인가?
• RQ3 어떤 군집(예: C2, C5)은 FCA를 통해 검증하기 어려운가? 이는 그들의 구조적 안정성에 대해 무엇을 시사하는가?
• RQ4 FCA는 특정 흥미로움 측정법이 여러 군집에 걸쳐 모호하거나 겹치는 소속 관계를 어떻게 드러내는가?
• RQ5 FCA는 IM 분석에서 군집화 결과에 대한 제3자 검증 메커니즘으로서 어느 정도 활용될 수 있는가?

주요 결과

• FCA는 C1 및 C4 군집을 성공적으로 검증하였으며, 이 군집의 모든 구성원이 동일한 의도를 공유하고 래티스에서 일관된 군집을 이룬다.
• C9 군집은 FCA에 의해 잘 검증되었으며, 구성원 전부가 안정적인 개념을 형성하고 래티스에서 밀접하게 연결되어 있어 유사한 행동을 하는 것으로 확인된다.
• C2 군집는 성질 공유의 일관성이 없고 소속 관계가 모호하여 의심스럽다. FCA는 구성원 간의 일관성이 부족하고 다른 군집과도 가까이 위치해 있음을 드러낸다.
• C5 군집는 래티스에서 분열되어 두 개의 하위군집으로 나뉘며, {Negative Reliability, causal confidence, causal confirmed-confidence} 및 {Specificity, Leverage, Putative Causal Dependency}로 구성되어 있어 공명성이 떨어진다.
• 재현율, 정보 이득, 지니 지표 등 일부 측정법은 여러 군집(C4, C5, C8, C9)에 가까이 위치해 있어 군집 할당의 모호성 또는 불안정성을 나타내며, 근접도는 공통된 성질을 공유하고 있음을 시사하지만 명확한 할당은 이루어지지 않는다.
• 후쿠다의 측정법은 C6 군집(IIE, IIER, IP3E)과 밀접하게 연결되어 이 군집 내 배치가 확인된다. 반면 상호정보량 및 후쿠다 측정법 외의 다른 측정법들은 여러 군집에 가까이 위치해 있어 그들의 모호한 위치를 강조한다.