[논문 리뷰] Graph-Based Two-Sample Tests for Discrete Data

Jingru Zhang, Hao Chen|arXiv (Cornell University)|2017. 11. 12.

Complex Network Analysis Techniques인용 수 3

한 줄 요약

이 논문은 반복 관측치가 존재할 경우 유사도 그래프 선택에 민감한 문제를 해결하기 위해 이산 데이터를 위한 확장된 그래프 기반 두 표본 검정을 제안한다. 분석적 p-값 근사치를 도출함으로써 대규모 데이터셋에 효율적으로 적용할 수 있도록 하였으며, gTests R 패키지를 사용하여 전화 통화 네트워크 데이터셋에서 성능을 입증하였다.

ABSTRACT

In the regime of two-sample comparison, tests based on a graph constructed on observations by utilizing similarity information among them is gaining attention due to their flexibility and good performances for high-dimensional/non-Euclidean data. However, when there are repeated observations, these graph-based tests could be problematic as they are versatile to the choice of the similarity graph. We propose extended graph-based test statistics to resolve this problem. The analytic p-value approximations to these extended graph-based tests are derived to facilitate the application of these tests to large datasets. The new tests are illustrated in the analysis of a phone-call network dataset. All tests are implemented in an R package gTests.

연구 동기 및 목표

• 반복 관측치가 존재할 경우 기존 그래프 기반 두 표본 검정의 불안정성을 해결하기 위해.
• 고차원 또는 유클리드 공간이 아닌 데이터 환경에서 유사도 그래프 선택에 대한 민감도를 줄이기 위해.
• 분석적 p-값 근사치를 통해 계산 효율성을 높여 대규모 데이터셋에 적합한 검정을 개발하기 위해.
• 실제 응용 분야(예: 네트워크 분석)에서 이산 데이터 비교를 위한 실용적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 기존의 그래프 기반 검정 통계량을 반복 관측치를 고려하도록 수정한 통계량 설정을 통해 확장한다.
• 관측된 데이터로부터 유도된 유사도 그래프를 사용하여 관측치 간의 상호관계를 표현한다.
• 퍼미터제이션 기반 계산을 피하기 위해 p-값에 대한 분석적 근사치를 도출함으로써 확장성을 확보한다.
• 실제 성능을 입증하기 위해 전화 통화 네트워크 데이터셋에 이 방법을 적용한다.
• 재현 가능하고 접근성이 높은 사용을 위해 제안된 검정을 R 패키지 gTests에 구현한다.

실험 결과

연구 질문

• RQ1 이산 데이터에 반복 관측치가 존재할 경우 그래프 기반 두 표본 검정은 어떻게 성능을 발휘하는가?
• RQ2 반복 데이터가 존재할 경우 그래프 기반 검정의 성능은 어떤 정도로 유사도 그래프 선택에 민감한가?
• RQ3 확장된 그래프 기반 검정 통계량에 대해 분석적 p-값 근사치를 효과적으로 도출할 수 있는가?
• RQ4 제안된 확장된 검정은 기존 방법과 비교해 유형 I 오류 통제 및 검정력 측면에서 어떻게 다른가?

주요 결과

• 제안된 확장된 그래프 기반 검정은 반복 관측치 존재 시 유사도 그래프 선택에 대해 더 뛰어난 강건성을 보였다.
• 분석적 p-값 근사치는 퍼미터제이션 기반 방법 대비 계산 비용을 크게 줄여 대규모 데이터셋에 대한 확장성을 가능하게 하였다.
• 반복 데이터 존재 시에도 적절한 유형 I 오류 비율을 유지하며 양호한 통계적 검정력을 보였다.
• 전화 통화 네트워크 데이터셋에 대한 실증 결과는 제안된 방법의 실용성과 신뢰성에 대한 확인을 제공하였다.