[논문 리뷰] Significant Subgraph Mining with Multiple Testing Correction

Mahito Sugiyama, Felipe Llinares López외 2명|arXiv (Cornell University)|2014. 07. 01.

Data Mining Algorithms and Applications참고 문헌 8인용 수 7

한 줄 요약

이 논문은 다중 가설 검정에 의한 보정을 위해 효과적인 검정 수를 사용하고, 테스트 가능한 서브그래프에만 초점을 맞춤으로써 통계적 검정력 향상과 함께 효율적인 중요한 서브그래프 탐색을 위한 방법을 제안한다. 기존 방법 대비 약 100배 빠른 새로운 증분 검색 전략을 도입하여 정확성을 유지하면서도, 화학정보학 및 시스템 생물학과 같은 그래프 기반 응용 분야에서 더 많은 참 양성 결과를 발견할 수 있도록 한다.

ABSTRACT

The problem of finding itemsets that are statistically significantly enriched in a class of transactions is complicated by the need to correct for multiple hypothesis testing. Pruning untestable hypotheses was recently proposed as a strategy for this task of significant itemset mining. It was shown to lead to greater statistical power, the discovery of more truly significant itemsets, than the standard Bonferroni correction on real-world datasets. An open question, however, is whether this strategy of excluding untestable hypotheses also leads to greater statistical power in subgraph mining, in which the number of hypotheses is much larger than in itemset mining. Here we answer this question by an empirical investigation on eight popular graph benchmark datasets. We propose a new efficient search strategy, which always returns the same solution as the state-of-the-art approach and is approximately two orders of magnitude faster. Moreover, we exploit the dependence between subgraphs by considering the effective number of tests and thereby further increase the statistical power.

연구 동기 및 목표

• 기하급수적으로 증가하는 다중 검정 문제로 인한 계산 불가능성과 통계적 검정력 손실이라는 이중적 과제를 해결하기 위해.
• 이전에 아이템셋 마이닝에서 사용된 테스트 가능한 가설 개념을, 검색 공간이 훨씬 더 큰 서브그래프 마이닝으로 확장하기 위해.
• 테스트 가능한 서브그래프만 식별함으로써 검정 수를 줄이고도 중요한 패턴을 손실 없이 유지하는 효율적인 검색 알고리즘 개발을 위해.
• 서브그래프 간의 종속성을 고려하여 효과적인 검정 수를 계산함으로써 다중 검정 보정을 향상시키기 위해.
• 실제 세계의 그래프 데이터셋에서 최신 기술 대비 더 높은 통계적 검정력과 더 빠른 계산 속도를 동시에 달성하기 위해.

제안 방법

• 유의미한 통계적 유의성을 달성할 수 있는 잠재력이 있는 서브그래프(테스트 가능한 서브그래프)를 빈도 기반 서브그래프 마이닝 알고리즘을 활용해 식별함으로써, 보정 대상에서 테스트 불가능한 가설을 제외한다.
• 증분 검색 전략을 제안하여 서브그래프의 루트 빈도를 효율적으로 계산함으로써, 테스트 가능한 서브그래프를 신속하게 식별하고 런타임을 두 자리 수 감소시킨다.
• 표준 보너페리 보정보다 통계적 검정력을 높이기 위해, 테스트 가능한 가설들만 보정하는 타론의 개선된 보너페리 보정을 사용한다.
• 서브그래프 발생 간의 종속성 구조를 모델링하여 효과적인 검정 수를 계산함으로써, 보정 요소를 추가로 감소시키고 통계적 검정력을 향상시킨다.
• 빈도 기반 서브그래프 마이닝과 통계적 유의성 검정을 통합함으로써, 진정으로 유의미한 서브그래프는 모두 유지하면서도 거짓 양성은 최소화한다.

실험 결과

연구 질문

• RQ1 검색 공간이 훨씬 더 큰 서브그래프 마이닝에 대해, 이전에 아이템셋 마이닝에서 성공적으로 적용된 비테스트 가능한 가설 제거 전략을 효과적으로 확장할 수 있는가?
• RQ2 그래프 마이닝에서 후보 수가 기하급수적으로 증가하는 환경에서, 테스트 가능한 서브그래프 탐색을 어떻게 효율적으로 수행할 수 있는가?
• RQ3 서브그래프 간의 종속성을 고려하여 효과적인 검정 수를 사용함으로써, 서브그래프 마이닝에서의 다중 검정 보정을 추가로 향상시킬 수 있는가?
• RQ4 테스트 가능한 서브그래프에 집중하는 것이 실세계 그래프 데이터셋에서 표준 보너페리 보정보다 더 높은 통계적 검정력을 제공하는가?
• RQ5 기존 방법에 비해 더 빠르고 정확한 새로운 검색 전략을 중요한 서브그래프 마이닝에서 설계할 수 있는가?

주요 결과

• 제안된 증분 검색 전략은 최신 기술 대비 약 두 자리 수 감소한 런타임을 기록하여, 1.23×10² 초의 실행 시간을 달성한 반면, 감소 전략 대비 2.41×10⁴ 초를 소요한다.
• 표준 보너페리 보정 대비 테스트 가능한 가설에만 집중함으로써, 진정으로 중요한 서브그래프를 더 많이 탐지함으로써 통계적 검정력을 향상시킨다.
• 효과적인 검정 수는 서브그래프 간 종속성을 반영하여 보정 요소를 감소시키며, 거짓 양성 증가 없이도 통계적 검정력을 추가로 향상시킨다.
• 모든 여덟 개의 벤치마크 데이터셋에서 최대 16개 노드까지의 서브그래프에 대해 루트 빈도를 성공적으로 계산했으며, 계산 한계로 인해 몇몇 데이터셋은 16개 노드를 초과하는 데 실패했다.
• 브루트 포스 및 원패스 접근 방식에 비해 빠르고 정확도가 높으며, 루트 평균 제곱 오차(RMSD)가 1.23×10² 초로 다른 방법들보다 유의미하게 낮게 나타났다.