[논문 리뷰] An Empirical Study of Leading Measures of Dependence

David N. Reshef, Yakir Reshef외 2명|arXiv (Cornell University)|2015. 05. 09.

Mental Health Research Topics참고 문헌 21인용 수 10

한 줄 요약

이 논문은 고차원 데이터 탐색을 위한 현대적 상관관계 측정법인 MICe와 TICe의 실증적 평가를 수행하며, 정당성, 독립성에 대한 통계적 검정력, 계산 효율성에 중점을 둔다. MICe는 R² 기반으로 노이즈가 있는 기능적 관계를 정당하게 순위 매기는 데 뛰어나며, TICe는 독립성에 대한 최첨단 검정력을 제공한다. 저자들은 최적의 감지 민감도와 공정성을 확보하기 위해 TICe를 사전 필터링으로 사용한 후 MICe 계산을 수행하는 것을 권장한다.

ABSTRACT

In exploratory data analysis, we are often interested in identifying promising pairwise associations for further analysis while filtering out weaker, less interesting ones. This can be accomplished by computing a measure of dependence on all variable pairs and examining the highest-scoring pairs, provided the measure of dependence used assigns similar scores to equally noisy relationships of different types. This property, called equitability, is formalized in Reshef et al. [2015b]. In addition to equitability, measures of dependence can also be assessed by the power of their corresponding independence tests as well as their runtime. Here we present extensive empirical evaluation of the equitability, power against independence, and runtime of several leading measures of dependence. These include two statistics introduced in Reshef et al. [2015a]: MICe, which has equitability as its primary goal, and TICe, which has power against independence as its goal. Regarding equitability, our analysis finds that MICe is the most equitable method on functional relationships in most of the settings we considered, although mutual information estimation proves the most equitable at large sample sizes in some specific settings. Regarding power against independence, we find that TICe, along with Heller and Gorfine's S^DDP, is the state of the art on the relationships we tested. Our analyses also show a trade-off between power against independence and equitability consistent with the theory in Reshef et al. [2015b]. In terms of runtime, MICe and TICe are significantly faster than many other measures of dependence tested, and computing either one makes computing the other trivial. This suggests that a fast and useful strategy for achieving a combination of power against independence and equitability may be to filter relationships by TICe and then to examine the MICe of only the significant ones.

연구 동기 및 목표

• 주요 의존성 측정법, 특히 MICe와 TICe의 정당성, 통계적 검정력, 계산 효율성을 평가하기 위해.
• MICe와 TICe가 다양한 기능적 형태와 노이즈 수준에서 관계 강도에 따라 순위를 매기는 데서 뛰어난 성능을 보이는지 확인하기 위해.
• 이론적으로 제기된 바와 같이, 정당성과 독립성에 대한 검정력 사이의 상호 상충 관계가 실질적으로 존재하는지 평가하기 위해.
• 탐색적 데이터 분석에서 MICe, TICe 및 기타 의존성 측정법 간의 실용적이고 데이터 기반의 선택 가이드를 제공하기 위해.

제안 방법

• 다양한 데이터 생성 모델, 관계 유형, 표본 크기에서 광범위한 실증 평가를 수행하였다.
• 정당성은 노이즈가 있는 기능적 관계의 점수를 기저 R² 값과 비교하여 측정하였으며, MICe와 상호정보량 추정이 주요 기준이 되었다.
• 독립성에 대한 통계적 검정력은 Simon과 Tibshirani(2012)의 관계 세트를 활용하여 모든 측정법 간의 테스트 성능을 비교하여 평가하였다.
• 실행 시간 효율성은 다양한 표본 크기와 변수 차원에서의 계산 시간을 측정하여 평가하였다.
• MICe와 TICe는 계산적 연관성을 활용하여 동시에 계산되었으며, 이는 효율적인 이중 단계 필터링을 가능하게 하였다.
• 각 측정법의 파라미터 설정은 공정하고 현실적인 성능 비교를 위해 분석별로 최적화되었다.

실험 결과

연구 질문

• RQ1 다양한 표본 크기와 관계 유형에서 MICe가 다른 측정법에 비해 R² 기반으로 노이즈가 있는 기능적 관계를 얼마나 정당하게 순위 매이는가?
• RQ2 MICe, TICe 및 기타 의존성 측정법이 독립성 검정에서 다양한 대립가설에 대해 얼마나 높은 통계적 검정력을 가지는가?
• RQ3 이론적으로 제기된 바와 같이, 실질적으로 정당성과 독립성에 대한 검정력 사이에 상호 상충 관계가 존재하는가?
• RQ4 TICe를 MICe 적용 전에 중요한 관계를 필터링하기 위한 사전 단계로 효과적으로 사용할 수 있는가, 중요한 연관성을 손상시키지 않고?
• RQ5 MICe와 TICe가 다른 주요 의존성 측정법에 비해 계산 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 대부분의 테스트 설정에서 MICe는 기능적 관계에서 가장 정당한 방법이지만, 특정 경우에서 대규모 표본 크기에서는 상호정보량 추정이 더 뛰어난 성능을 보였다.
• TICe와 Heller 및 Gorfine의 SDDP는 테스트된 관계 전반에서 독립성에 대한 최첨단 검정력을 확보하였다.
• 정당성과 독립성에 대한 검정력 사이의 명백한 상호 상충 관계가 실증적으로 확인되었으며, 이는 Reshef 등 [2015b]의 이론적 예측과 일치하였다.
• MICe와 TICe 모두 다른 많은 의존성 측정법보다 뚜렷하게 빠른 속도를 보였으며, TICe를 통해 관계의 효율적 필터링이 가능하였다.
• TICe 계산은 MICe 계산을 간단하게 가능하게 하여, 실용적인 이중 단계 워크플로우를 제안한다: TICe로 필터링 후, 유의미한 결과에 대해서만 MICe를 계산한다.
• 결과적으로 TICe는 높은 검정력과 계산 효율성 덕분에 사전 필터링 통계량으로서 더 바람직한 선택임을 시사한다. 특히 MICe와 조합할 경우 더욱 유용하다.