[논문 리뷰] Statistical Analysis of Data Repeatability Measures

Zeyi Wang, Eric Bridgeford외 3명|arXiv (Cornell University)|2020. 05. 25.

Statistical Methods and Inference참고 문헌 45인용 수 11

한 줄 요약

이 논문은 단변량 및 다변량 (M)ANOVA 모델에서 다양한 분포 가정 하에 데이터 재현 가능성 측정치의 통계적 검정력 — 특히 분류 가능성(Disc), 순위합 검정, F-검정, ICC 추정치 — 를 평가한다. 연구 결과, Disc는 비정규성과 측정 횟수 증가 조건에서 순위합 및 ICC 기반 방법보다 일관되게 뛰어난 성능을 보이며, 핵심 특징 추출 기반 방법은 가장 열 劣한 성능을 보이고, 대칭성 위반은 모든 방법의 성능을 저하시킨다.

ABSTRACT

The advent of modern data collection and processing techniques has seen the size, scale, and complexity of data grow exponentially. A seminal step in leveraging these rich datasets for downstream inference is understanding the characteristics of the data which are repeatable -- the aspects of the data that are able to be identified under a duplicated analysis. Conflictingly, the utility of traditional repeatability measures, such as the intraclass correlation coefficient, under these settings is limited. In recent work, novel data repeatability measures have been introduced in the context where a set of subjects are measured twice or more, including: fingerprinting, rank sums, and generalizations of the intraclass correlation coefficient. However, the relationships between, and the best practices among these measures remains largely unknown. In this manuscript, we formalize a novel repeatability measure, discriminability. We show that it is deterministically linked with the correlation coefficient under univariate random effect models, and has desired property of optimal accuracy for inferential tasks using multivariate measurements. Additionally, we overview and systematically compare repeatability statistics using both theoretical results and simulations. We show that the rank sum statistic is deterministically linked to a consistent estimator of discriminability. The power of permutation tests derived from these measures are compared numerically under Gaussian and non-Gaussian settings, with and without simulated batch effects. Motivated by both theoretical and empirical results, we provide methodological recommendations for each benchmark setting to serve as a resource for future analyses. We believe these recommendations will play an important role towards improving repeatability in fields such as functional magnetic resonance imaging, genomics, pharmacology, and more.

연구 동기 및 목표

• 다양한 분포 가정 하에서 데이터 재현 가능성 측정치로서 분류 가능성(Disc), 순위합 검정, F-검정, ICC 추정치의 상대적 통계적 검정력을 평가하기 위해.
• 비정규성(예: 로그정규 오차) 및 블록 효과가 재현 가능성 측정치의 성능에 미치는 영향을 조사하기 위해.
• 반복 측정 횟수 증가가 다양한 통계적 검정의 검정력에 미치는 영향을 평가하기 위해.
• 주체 간 대칭성이 위반될 경우 이러한 측정치의 강건성(로버스트니)을 검토하기 위해.
• 통계적 검정력 측면에서 핵심 특징 추출 기반 방법을 다른 재현 가능성 지표와 비교하기 위해.

제안 방법

• 개인별 랜덤 효과와 독립 오차 항을 포함한 단변량 및 다변량 (M)ANOVA 모델을 시뮬레이션한다.
• 10,000회 반복을 수행한 몬테카를로 시뮬레이션을 통해 다양한 표본 크기(n = 5에서 100까지)에서 유형 I 오류율과 통계적 검정력을 추정한다.
• 주체 간 분산 대 주체 내 분산 비율에 기반한 분류 가능성(Disc)을 재현 가능성 측정치로 적용한다.
• Disc 및 F-검정과의 비교를 위해 순열 검정 및 비모수적 순위합 검정을 사용한다.
• ICC는 주체 간 분산 대 총 분산 비율로 정의되며, 다변량 환경에서는 추적 기반 ICC를 사용한다.
• 강건성 평가를 위해 비정규 오차 구조(예: 로그정규)를 도입한다.

실험 결과

연구 질문

• RQ1 단변량 및 다변량 환경에서 분류 가능성(Disc)이 순위합 또는 거리 기반 윌콕슨 검정보다 더 높은 통계적 검정력을 가지는가?
• RQ2 비정규 오차 분포 조건에서 Disc의 검정력은 F-검정 및 ICC 추정치와 비교해 어떻게 되는가?
• RQ3 반복 측정 횟수 증가가 Disc 대 순위합 또는 F-검정 간 상대적 성능에 어떤 영향을 미치는가?
• RQ4 블록 효과가 정규 (M)ANOVA 모델에서 Disc, 순위합, F-검정의 검정력에 어떤 영향을 미치는가?
• RQ5 핵심 특징 추출 기반 재현 가능성 추정이 다른 방법보다 열 劣한 성능을 보이는 조건은 무엇인가?

주요 결과

• Disc는 비정규성 조건에서 비록 정규성 가정이 깨져도, 단변량 및 다변량 환경 모두에서 순위합 및 ICC 기반 방법보다 일관되게 뛰어난 성능을 보인다.
• 비정규(로그정규) 오차 모델에서는 Disc가 순위합 및 ICC 추정치보다도 높은 검정력을 유지하나, ICC의 결정론적 변환 관계는 더 이상 성립하지 않는다.
• 반복 측정 횟수가 증가함에 따라 Disc의 검정력 우위는 더욱 커지며, 다중 순위합을 조합하더라도 이 우위는 사라지지 않는다.
• 블록 효과 존재 시, 정규 모델에서 순위합 검정이 Disc보다 뛰어난 성능을 보이며, 이는 맥락에 따라 우월성이 달라질 수 있음을 시사한다.
• 핵심 특징 추출 기반 방법은 모든 시뮬레이션 설정(단변량, 다변량, 희박하지 않은 경우 포함)에서 일관되게 가장 낮은 검정력을 보였다.
• 주체 간 대칭성이 위반될 경우, 모든 방법의 검정력이 저하되며, 이는 이러한 조건 하에서 재현 가능성 평가에 근본적인 제약이 있음을 나타낸다.