[논문 리뷰] Reducing False Discoveries in Statistically-Significant Regional-Colocation Mining: A Summary of Results

Subhankar Ghosh, Jayant Gupta외 3명|arXiv (Cornell University)|2023. 01. 01.

Mining Techniques and Economics인용 수 3

한 줄 요약

이 논문은 다중 동시 통계적 검정에서 발생하는 유의성 있는 지역적 공존 패턴 탐색의 거짓 발견을 줄이기 위해 보너페르니 보정을 적용한 새로운 알고리즘인 MultComp-RCM를 제안한다. 이 방법은 이론적 분석, 실험 및 미네소타 주의 실세계 소매 사례 연구를 통해 기존 접근 방식에 비해 거짓 발견률과 계산 비용을 크게 감소시켰다.

ABSTRACT

Given a set S of spatial feature types, its feature instances, a study area, and a neighbor relationship, the goal is to find pairs <a region (r_{g}), a subset C of S> such that C is a statistically significant regional-colocation pattern in r_{g}. This problem is important for applications in various domains including ecology, economics, and sociology. The problem is computationally challenging due to the exponential number of regional colocation patterns and candidate regions. Previously, we proposed a miner [Subhankar et. al, 2022] that finds statistically significant regional colocation patterns. However, the numerous simultaneous statistical inferences raise the risk of false discoveries (also known as the multiple comparisons problem) and carry a high computational cost. We propose a novel algorithm, namely, multiple comparisons regional colocation miner (MultComp-RCM) which uses a Bonferroni correction. Theoretical analysis, experimental evaluation, and case study results show that the proposed method reduces both the false discovery rate and computational cost.

연구 동기 및 목표

• 지역적 공존 패턴 탐지에서 다중 동시 통계적 추론으로 인한 높은 거짓 발견률을 해결하기 위해.
• 지수적으로 많은 후보 패턴에 걸쳐 포괄적인 유의성 검정과 관련된 계산 비용을 줄이기 위해.
• 엄격한 통계 보정을 통합하여 탐지된 지역적 공존 패턴의 신뢰성을 향상시키기 위해.
• 소매, 공중보건, 생태학 등의 분야에서 진정으로 유의미한 공간적 공존 패턴을 식별하기 위한 견고한 방법을 제공하기 위해.

제안 방법

• 제안된 MultComp-RCM 알고리즘은 지역적 공존 탐지에서 모든 동시 통계적 검정에 대해 p-값을 조정하기 위해 보너페르니 보정을 적용한다.
• 참여 지수를 사용하여 후보 지역 내 공존 빈도를 측정하고, 각 지역-패턴 쌍에 대해 유의성 검정을 수행한다.
• 모든 후보 지역적 공존 패턴에 대해 보정된 알파 수준을 사용하여 유의성 검정을 수행함으로써 가족-wise 오류율을 통제한다.
• 공간 분할과 통계적 추론을 통합하여 참조 지수와 보정된 p-값 기준을 모두 충족하는 영역에만 집중한다.
• 비의미한 후보를 조기에 파편화시킴으로써 효율적으로 확장 가능한 알고리즘 설계를 한다.
• 기존 작업(SRCM)을 확장하여 다중 비교 보정을 통합함으로써 거짓 긍정을 감소시키면서도 통계적 엄밀함을 유지한다.

실험 결과

연구 질문

• RQ1 지역적 공존 패턴 탐지에서 다중 비교 문제를 효과적으로 완화하여 거짓 발견을 줄일 수 있는 방법은 무엇인가?
• RQ2 이 맥락에서 보너페르니 보정이 제1종 오류와 계산 비용에 어떤 영향을 미치는가?
• RQ3 SSRCM과 같은 이전 방법에 비해 MultComp-RCM의 거짓 발견률과 성능은 어떻게 비교되는가?
• RQ4 고공간 이질성이 높은 실세계 공간 데이터셋에서 제안된 방법은 진정한 지역적 공존 패턴을 신뢰성 있게 탐지할 수 있는가?
• RQ5 통계적 엄밀함과 희귀하지만 의미 있는 공존 패턴 탐지 사이의 상충 관계는 무엇인가?

주요 결과

• MultComp-RCM는 보너페르니 보정을 적용함으로써 모든 동시 통계적 검정에 걸쳐 가족-wise 오류율을 통제함으로써 거짓 발견률을 감소시킨다.
• 이론적 분석에 의해 증명된 바, 이 방법은 기준선인 SSRCM 알고리즘보다 낮거나 같은 제1종 오류율을 달성한다.
• 보정 후 유의미한 패턴 수가 줄어들어 거짓 결과의 포괄적 처리를 피함으로써 계산 비용이 감소한다.
• 미네소타 주 소매 사례 연구에서 보정된 기준치 0.05 이하의 p-값을 가진 유의미한 지역적 공존 패턴이 확인되었으며, 예를 들어 헨니핀 카운티에서 {Caribou Coffee, Starbucks}의 경우 p = 0.01, 참여 지수 = 0.34였다.
• 이 방법은 다양한 거리 기준에서 통계적으로 유의미한 패턴을 성공적으로 식별하였으며, 1900m 거리에서 헨니핀 카운티에서 {Caribou Coffee, Starbucks, Dunn Bros}의 경우 p = 0.01, 참여 지수 = 0.52였다.
• 참여 지수는 높지만 우연히 발생한 비의미한 패턴을 제거함으로써, MOBR 기반 SSRCM과 같은 데이터 인식 분할 방법보다도 우수한 성능을 발휘했다.