[논문 리뷰] Multiple Hypothesis Testing in Pattern Discovery

Sami Hanhijärvi, Kai Puolamäki외 1명|ArXiv.org|2009. 06. 29.

Data Mining Algorithms and Applications참고 문헌 12인용 수 6

한 줄 요약

이 논문은 패턴 탐색을 위한 다중 가설 검정에서 가족-wise 오류율(FWER)을 제어하기 위한 일반적이고 비모수적 방법을 제안한다. 랜덤화 기반 p-값과 홀름-본페로니 보정을 사용하며, minP 성질을 만족하는 것만으로도 임의의 데이터 마이닝 알고리즘에 대해 유의성 검정을 확장할 수 있다. 실증적으로 합성 데이터와 실제 데이터(포함된 빈도 높은 부분그래프 마이닝 포함)에서 높은 통계적 검정력과 함께 FWER 제어를 입증하였다.

ABSTRACT

The problem of multiple hypothesis testing arises when there are more than one hypothesis to be tested simultaneously for statistical significance. This is a very common situation in many data mining applications. For instance, assessing simultaneously the significance of all frequent itemsets of a single dataset entails a host of hypothesis, one for each itemset. A multiple hypothesis testing method is needed to control the number of false positives (Type I error). Our contribution in this paper is to extend the multiple hypothesis framework to be used with a generic data mining algorithm. We provide a method that provably controls the family-wise error rate (FWER, the probability of at least one false positive) in the strong sense. We evaluate the performance of our solution on both real and generated data. The results show that our method controls the FWER while maintaining the power of the test.

연구 동기 및 목표

• 데이터 마이닝에서 수천 개의 패턴을 동시에 검정할 경우 유의성 수준이 과도하게 상승하는 문제를 해결하기 위해 다중 가설 검정의 과제를 해결한다.
• 데이터 분포나 패턴 간 의존성에 대한 가정 없이도 어떤 데이터 마이닝 알고리즘에도 적용 가능한 일반적인 프레임워크를 개발한다.
• 통계적 검정력을 유지하면서도 과도한 거짓 음성 결과를 방지하기 위해 가족-wise 오류율(FWER)을 강하게 제어한다.
• 거래 데이터 및 그래프 구조 데이터를 포함한 다양한 데이터 유형에 대해 프레임워크를 검증하여 다양한 분야에서의 강건성을 입증한다.

제안 방법

• 랜덤화를 통해 패턴에서 유도된 검정 통계량의 근무가설 하의 근무 분포를 생성함으로써, 근무가설 하에서 p-값을 추정한다.
• 데이터 마이닝 알고리즘이 minP 성질을 만족해야 하며, 이는 일련의 가설들 중에서 가장 작은 p-값이 확률적으로 가장 작은 값을 가짐을 보장한다.
• 랜덤화된 p-값에 대해 홀름-본페로니 절차를 적용하여 FWER를 강한 의미에서 제어하며, 단계 내림차순 방식으로 p-값을 조정한다.
• 각 패턴에 대해 p-값은 랜덤화된 데이터셋 중에서 원본 데이터의 검정 통계량을 초과하는 비율로 계산된다.
• 에지 교환 랜덤화를 사용하여 간선의 차수를 유지함으로써, 빈도 높은 아이템셋 및 부분그래프 마이닝에 프레임워크를 적용하였다.
• 이 방법은 패턴 간 독립성이나 특정 구조를 가정하지 않기 때문에, 복잡한 데이터 마이닝 작업에 적합하다.

실험 결과

연구 질문

• RQ1 임의의 데이터 마이닝 알고리즘에 적용 가능한 일반적이고 비모수적 방법이 다중 가설 검정에서 가족-wise 오류율(FWER)을 제어할 수 있는가?
• RQ2 제안된 방법은 FWER 제어를 유지하면서도 고차원 패턴 공간에서 높은 통계적 검정력을 유지하는가?
• RQ3 실제 데이터 마이닝 알고리즘에 대해 minP 성질은 실용적이고 타당한 가정인가?
• RQ4 데이터 분할이나 독립성 가정이 실패하는 복잡한 데이터 유형(예: 그래프)에 대해 이 방법은 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 모든 테스트된 데이터셋(실제 및 합성 데이터 포함)에서 원하는 유의수준 α에서 가족-wise 오류율(FWER)을 성공적으로 제어하였다.
• 복합 그래프 데이터셋에서 최소 지지도 40일 경우, 원본 데이터에서 140개의 빈도 높은 부분그래프를 발견하였고, 랜덤 데이터에서는 기대값 191.8(표준편차 13.4)이었으며, 이는 방법이 비랜덤 패턴을 정확히 식별하고 있음을 시사한다.
• 모든 실험에서 minP 성질이 만족되었으며, 이는 p-값 추정의 타당성과 FWER 제어의 정확성을 확인한다.
• 통계적 검정력이 높게 유지되었으며, 다양한 α 수준에서 유의미한 패턴의 수를 통해 이를 입증하였고, 그림 8의 결과는 일관된 탐지 성능을 보였다.
• 에지 교환 랜덤화를 통해 노드의 차수를 유지함으로써 그래프 구조 데이터에 성공적으로 적용된 점에서, 복잡한 데이터 구조에 대해 프레임워크가 강건함을 입증하였다.