[논문 리뷰] Significant Pattern Mining on Continuous Variables.

Mahito Sugiyama, Karsten Borgwardt|arXiv (Cornell University)|2017. 02. 28.

Data Mining Algorithms and Applications인용 수 3

한 줄 요약

이 논문은 p-값에 대한 하한을 유도하여 연속 변수에서 통계적으로 유의미한 고차 상호작용을 효율적으로 추출하는 데 있어 첫 번째 방법을 제시한다. 이는 유의미하지 않은 상호작용을 극적으로 잘라내는 데 기여한다. 이 방법은 합성 및 실세계 데이터셋에서 높은 통계적 검정력과 확장성을 확보하며, 이전에 이진 특성 전용으로 설계된 방법들보다 뛰어나다.

ABSTRACT

The search for higher-order feature interactions that are statistically significantly associated with a class variable is of high relevance in fields such as Genetics or Healthcare, but the combinatorial explosion of the candidate space makes this problem extremely challenging in terms of computational efficiency and proper correction for multiple testing. While recent progress has been made regarding this challenge for binary features, we here present the first solution for continuous features. We propose an algorithm which overcomes the combinatorial explosion of the search space of higher-order interactions by deriving a lower bound on the p-value for each interaction, which enables us to massively prune interactions that can never reach significance and to thereby gain more statistical power. In our experiments, our approach efficiently detects all significant interactions in a variety of synthetic and real-world datasets.

연구 동기 및 목표

• 클래스 변수에 대해 통계적으로 유의미한 고차 상호작용을 연속 변수에서 탐지하는 데 도전하는 것.
• 연속 특성 공간에서 후보 상호작용의 조합 폭발 문제를 해결하는 것.
• 고차원 연속 데이터에서 효율적인 계산과 적절한 다중 검정 보정을 가능하게 하는 것.
• 이전에 이진 특성에만 국한되어 있던 기존 방법들을 연속 변수 상호작용 탐색으로 확장하는 것.
• 계산 부담을 줄이면서도 통계적 검정력을 유지하는 확장 가능한 알고리즘을 개발하는 것.

제안 방법

• 알고리즘은 각 상호작용에 대해 p-값에 대한 이론적 하한을 유도하여, 전체 계산 없이도 유의미하지 않은 상호작용를 조기에 거부할 수 있도록 한다.
• 이 하한은 F-통계량과 F-분포의 통계적 성질을 사용하여 계산되며, 유의미성의 보수적인 추정을 가능하게 한다.
• 알고리즘은 상호작용 조합에 대해 깊이 우선 탐색을 수행하며, 하한이 유의미성 임계값을 초과하는 부분에서 하위 트리를 잘라낸다.
• 조기 하위 트리 잘라내기 덕분에 전체 p-값 계산이 필요한 상호작용의 수를 크게 줄일 수 있다.
• 하한이 보수적이므로, 유의미한 상호작용가 잘못 잘라나가는 일이 없도록 통계적 엄격함을 유지한다.
• 이를 통해 검색의 포괄성을 유지하면서도 고차 상호작용과 대규모 데이터셋에 대해 확장 가능한 알고리즘 설계가 가능하다.

실험 결과

연구 질문

• RQ1 클래스 변수에 대해 통계적으로 유의미한 고차 상호작용을 연속 변수에서 효율적으로 탐지할 수 있는가?
• RQ2 연속 특성 상호작용의 지수적 증가하는 공간을 탐색하는 데 드는 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 유의미하지 않은 상호작용를 조기에 잘라내는 데 효과적인 보수적인 p-값 하한은 무엇인가?
• RQ4 제안된 방법은 전체 p-값 계산 수를 크게 줄이면서도 통계적 검정력을 유지할 수 있는가?
• RQ5 이 방법은 다양한 상호작용 복잡도를 가진 실세계 및 합성 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 높은 정확도와 낮은 거짓 양성률로 합성 데이터셋에서 모든 유의미한 고차 상호작용을 성공적으로 탐지한다.
• 알고리즘은 유의미한 상호작용의 수를 잃지 않으면서도 후보 상호작용의 약 99%를 잘라내어 상당한 계산 절감 효과를 달성한다.
• 이 방법은 연속 특성을 가진 데이터셋에서 고차 상호작용(예: 6차 상호작용까지)으로도 효과적으로 확장 가능하다.
• p-값 하한의 사용은 다중 검정 보정을 적절히 수행하면서도 높은 통계적 검정력을 유지하는 데 기여한다.
• 이진 특성 전용으로 설계된 기준 방법에 비해 연속 데이터에 적용했을 때 성능이 뛰어나, 본 방법의 독창성과 효과성을 입증한다.
• 실세계 데이터셋에 대한 실증 평가를 통해 본 방법이 생물학적·임상적으로 관련성이 있는 상호작용를 발견할 수 있음을 확인했다.