[논문 리뷰] Pearson's correlation coefficient in the theory of networks: A comment

Zafar Ahmed, Sachin Kumar|arXiv (Cornell University)|2018. 03. 16.

Complex Network Analysis Techniques참고 문헌 1인용 수 3

한 줄 요약

이 논문은 네트워크 이론에서 비표준 피어슨 상관계수 공식의 사용을 비판하며, 참조문헌 [3]에서 널리 사용되는 형식이 도수-도수 상관관계를 측정하는 데 수학적으로 일관성이 없음을 입증한다. 기존 공식(식 3)은 완벽한 선형 관계에서 r = 1을 정확히 산출하지만, 대안 형식(식 4)은 k_i = 2j_i + 1일 때 r = 1 대신 r = 13/77로 잘못된 값을 도출하여 무방향 네트워크에 대한 유효성을 떨어뜨린다.

ABSTRACT

In statistics, the Pearson correlation coefficient $r_{x,y}$ determines the degree of linear correlation between two variables and it is known that $-1 \le r_{x,y} \le 1$. In the theory of networks, a curious expression proposed in [PRL {\bf 89} 208701 (2002)] for degree-degree correlation coefficient $r_{j_i,k_i}, i\in [1,M]$ has been in use. We realize that the suggested form is the conventional Pearson's coefficient for $\{(j_i,k_i), (k_i,j_i)\}$ for $2M$ data points and hence it is rightly dedicated to undirected networks.

연구 동기 및 목표

• 네트워크 이론에서 도수-도수 상관관계에 사용되는 비표준 피어슨 상관계수 공식의 오류를 규명하고 수정하는 것.
• 참조문헌 [3]에서 널리 인용되는 공식이 완전한 의존성의 경우 선형 상관관계를 정확히 표현하지 못함을 입증하는 것.
• 기존 통계 방법을 사용하여 유방향 및 무방향 네트워크의 도수 상관관계 공식 간의 차이를 명확히 하는 것.
• 기존 피어슨 공식과 비표준 형식 간의 명백한 모순을 해결하는 것.

제안 방법

• 공분산과 표준편차의 표준 통계 정의를 사용하여 기존의 피어슨 상관계수 r_{x,y}를 유도한다.
• 기존 공식(식 3)을 네트워크의 M개 간선에 걸친 도수-도수 쌍 (j_i, k_i)에 적용한다.
• 참조문헌 [3]의 비표준 공식(식 4)을 평균과 분산의 용어로 재표현하여 통계적 일관성의 결여를 드러낸다.
• 기존 기능적 관계(예: k_i = 2j_i + 1, k_i = j_i^2) 하에서 식 (3)과 식 (4)의 행동을 비교하여 격차를 폭 드러낸다.
• 식 (4)를 무방향 네트워크에서의 2M개 데이터 포인트 집합 {(j_i, k_i), (k_i, j_i)}에 적용한 기존 피어슨 계수로 재해석한다.
• r > 1을 도출하는 잘못된 변형(식 6)을 규명하고 수정한다.

실험 결과

연구 질문

• RQ1 왜 참조문헌 [3]의 상관계수는 완벽한 선형 관계 k_i = 2j_i + 1에서 r = 1 대신 r = 13/77를 도출하는가?
• RQ2 비표준 상관계수 공식(식 4)은 수학적으로 기존 피어슨 상관계수와 어떻게 다를까?
• RQ3 무방향 네트워크에서 도수-도수 상관계수의 정확한 통계적 해석은 무엇인가?
• RQ4 왜 변형 공식(식 6)은 r > 1을 도출하며, 이는 상관계수의 이론적 범위 [-1, 1]을 어떻게 위반하는가?
• RQ5 기존 피어슨 공식(식 3)과 병합된 데이터 공식(식 4)은 각각 어떤 조건에서 유효한가?

주요 결과

• k_i = 2j_i + 1 이며 M = 9일 경우, 기존 공식(식 3)은 정확히 r = 1을 도출하지만, 비표준 형식(식 4)은 r = 13/77 ≈ 0.169를 도출한다.
• k_i = j_i^2일 경우, 기존 공식(식 3)은 r = √(1500/1577) ≈ 0.975를 도출하지만, 식 (4)는 음수 값 r = -125/598 ≈ -0.209를 도출하여 잘못된 상관계수 추정을 나타낸다.
• 식 (6)의 공식은 식 (4)의 오해로 인한 변형으로, 대수적 단순화로 인해 r ≥ 1을 도출하며, 상관계수의 이론적 범위 [-1, 1]을 위반한다.
• 비표준 공식(식 4)은 무방향 네트워크에서 2M개 데이터 포인트 집합 {(j_i, k_i), (k_i, j_i)}에 적용한 기존 피어슨 계수와 수학적으로 동일하다.
• 무방향 네트워크에 대한 정확한 공식은 비표준 형식(식 4)이 아니라 기존 피어슨 상관계수(식 3)이어야 하며, 후자는 잘못된 결과를 초래한다.
• 논문은 식 (4)가 유효한 대안이 아니라 네트워크 상관계수 분석에서 통계 원리의 오용임을 보여줌으로써 혼동을 해결한다.