[논문 리뷰] Fast and Memory-Efficient Significant Pattern Mining via Permutation Testing

Felipe Llinares López, Mahito Sugiyama외 2명|arXiv (Cornell University)|2015. 02. 15.

Data Mining Algorithms and Applications참고 문헌 5인용 수 9

한 줄 요약

이 논문은 조합 폭발적인 패턴 공간에서 다수의 가설 검정으로 인한 잘못된 발견 문제를 해결하기 위해, 가족-wise 오류율(FWER)을 엄격하게 제어하면서도 재계산이 필요 없는 빠르고 메모리 효율적인 신규 알고리즘인 Westfall-Young light를 소개한다. 이 알고리즘은 매개변수 조정을 통해 반복적 빈도 패턴 추출을 다시 실행하지 않으며, 각 순열에 대해 반복적으로 빈도 패턴 추출을 수행하는 데 드는 계산 비용을 피한다. 실세계의 아이템세트 및 서브그래프 추출 벤치마크에서 기존 최고 수준의 방법 대비 최대 1,000배 빠른 실행 시간과 10–100배 낮은 메모리 사용량을 달성한다.

ABSTRACT

We present a novel algorithm, Westfall-Young light, for detecting patterns, such as itemsets and subgraphs, which are statistically significantly enriched in one of two classes. Our method corrects rigorously for multiple hypothesis testing and correlations between patterns through the Westfall-Young permutation procedure, which empirically estimates the null distribution of pattern frequencies in each class via permutations. In our experiments, Westfall-Young light dramatically outperforms the current state-of-the-art approach in terms of both runtime and memory efficiency on popular real-world benchmark datasets for pattern mining. The key to this efficiency is that unlike all existing methods, our algorithm neither needs to solve the underlying frequent itemset mining problem anew for each permutation nor needs to store the occurrence list of all frequent patterns. Westfall-Young light opens the door to significant pattern mining on large datasets that previously led to prohibitive runtime or memory costs.

연구 동기 및 목표

• 조합 폭발적인 패턴 공간에서 다수의 가설 검정으로 인한 잘못된 발견 문제를 해결하기 위해.
• 패턴 크기 제한 없이, 패턴 간 상관관계를 가정하지 않고도 가족-wise 오류율(FWER)을 엄격하게 제어하는 방법을 개발하기 위해.
• 특히 밀도가 높고 크기가 큰 데이터베이스에서의 대규모 패턴 추출에 있어 순열 기반 FWER 보정의 계산 비용을 극도로 줄이기 위해.
• 기존에 계산 비용이나 메모리 요구량이 너무 높아 처리가 불가능하다고 여겨졌던 데이터셋에 대해서도 의미 있는 패턴 추출을 가능하게 하기 위해.

제안 방법

• 알고리즘은 작은 패턴에서 시작하여 최소 지원도를 점진적으로 증가시키는 증분적 탐색 전략을 사용하여, 각 단계에서 빈도 패턴 추출을 다시 시작하지 않도록 한다.
• 패턴 빈도의 근본 분포를 클래스 간 실측적으로 추정하기 위해 Westfall-Young 순열 절차를 적용하여 다중 가설 검정과 패턴 간 상관관계를 보정한다.
• 중요하게도, 모든 빈도 패턴의 전체 발생 목록을 저장하지 않으며, 각 순열에 대해 기저의 빈도 패턴 추출 알고리즘을 다시 실행하지 않아, 메모리 및 시간 오버헤드를 크게 줄인다.
• 조기 정지 및 효율적인 데이터 구조 관리와 같은 계산 최적화 기법을 활용하여, 특히 밀도가 높고 크기가 큰 데이터셋에서도 높은 성능을 유지한다.
• 순열 샘플링을 통해 효과적인 검정 수를 추정하지만, 이전의 지원도 기준에서 유도된 중간 결과를 재사용함으로써 각 순열마다 전체 재계산을 피한다.
• 알고리즘은 지원도 기준을 동적으로 조정하고, 기존의 빈도 패턴 추출 도구와의 호환성을 확보하기 위해 블랙박스 방식의 빈도 패턴 추출 도구를 사용하여 각 단계에서 패턴 수를 평가한다.

실험 결과

연구 질문

• RQ1 의미 있는 패턴 추출 알고리즘이 대규모이고 밀도가 높은 데이터셋에서도 계산 가능하면서 최적의 FWER 제어를 달성할 수 있는가?
• RQ2 실세계 응용에서 수십억 개의 패턴 검정에까지 확장 가능한 효율적인 순열 기반 다중 가설 검정 보정 방법은 무엇인가?
• RQ3 각 순열에 대해 빈도 패턴 추출을 다시 계산하지 않고도 메모리 오버헤드를 줄이기 위해 적용 가능한 계산 최적화 기법은 무엇인가?
• RQ4 순열 기반 유의성 검정에서 증분적 탐색 전략이 감소적 전략보다 실행 시간과 메모리 효율성 측면에서 뛰어나게 작용하는가?
• RQ5 기존 방법과 비교해 본다면, 제안된 방법의 메모리 사용량은 데이터베이스 크기와 밀도 증가에 따라 어떻게 변화하는가?

주요 결과

• Westfall-Young light는 아이템세트 및 서브그래프 추출 벤치마크에서 최고 수준의 FastWY 알고리즘 대비 최대 3개의 자리수 감소한 실행 시간을 기록한다.
• Westfall-Young light의 최고 메모리 사용량은 기존 방법 대비 특히 대규모 및 밀도가 높은 데이터셋에서 1~2개의 자리수 감소한다.
• 기존 최고 수준의 FastWY는 계산 비용이 매우 높은 감소적 탐색 전략을 사용하는 반면, Westfall-Young light는 증분적 전략을 통해 통계적 엄격함을 유지하면서도 놀라운 성능 향상을 이룬다.
• 알고리즘의 메모리 사용량은 데이터베이스 복잡도에 따라 부드럽게 증가하지만, FastWY의 경우 메모리 사용량이 급격히 증가하여 대규모 환경에서 처리 불가능해진다.
• Westfall-Young light는 효과적인 검정 수 추정에 의존하는 히우리스틱 방법이 FWER를 과대평가하는 것과는 달리, 최적의 통계적 검정력을 확보하면서도 가족-wise 오류율(FWER)을 엄격히 제어한다.
• 이 방법은 이전에는 계산 시간이나 메모리 제약으로 인해 처리가 불가능하다고 여겨졌던 데이터셋에 대해서도 의미 있는 패턴 추출을 가능하게 하여, 계산 생물학 및 기타 데이터 집약적 분야에서 새로운 응용 가능성을 열어준다.