[논문 리뷰] Measurement errors in network data.

M. E. J. Newman|arXiv (Cornell University)|2017. 03. 21.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 얼굴 마주침 및 자가 보고된 친구 관계 네트워크를 포함한 실제 사회 네트워크에서 상당한 오차 감소를 보여주는, 진정한 네트워크 구조의 최적 추정을 위한 통계적 프레임워크를 제안한다. 풍부한 다중 모odal 관측 자료를 활용하여 원시 데이터의 불확실성을 모델링함으로써 측정 오차를 보정한다.

ABSTRACT

Driven by growing interest in the sciences, industry, and among the broader public, a large number of empirical studies have been conducted in recent years of the structure of networks ranging from the internet and the world wide web to biological networks and social networks. The data produced by these experiments are often rich and multimodal, yet at the same time they may contain substantial measurement error. In practice, this means that the true network structure can differ greatly from naive estimates made from the raw data, and hence that conclusions drawn from those naive estimates may be significantly in error. In this paper we describe a technique that circumvents this problem and allows us to make optimal estimates of the true structure of networks in the presence of both richly textured data and significant measurement uncertainty. We give example applications to two different social networks, one derived from face-to-face interactions and one from self-reported friendships.

연구 동기 및 목표

• 다양한 분야인 사회, 생물, 기술 네트워크 등에서 널리 퍼져 있는 경험적 네트워크 데이터의 측정 오차 문제를 다루기 위해.
• 잡음이 많거나 완전하지 않거나 편향이 있는 원시 관측 자료가 있을 때도 진정한 네트워크 구조의 최적 추정을 생성하는 방법을 개발하기 위해.
• 얼굴 마주침 상호작용과 자가 보고된 우정 관계와 같은 서로 다른 데이터 수집 방식을 가진 실제 사회 네트워크에서 이 방법의 효과성을 입증하기 위해.
• 측정 오차가 네트워크 추론에 미치는 영향을 정량화하고, 보정이 더 신뢰할 수 있는 구조적 결론 도출로 이어지는지 보여주기 위해.

제안 방법

• 이 방법은 관측된 네트워크 간선의 불확실성을 고려하는 확률적 생성 모델을 사용하며, 원시 데이터를 진정한 네트워크의 노이즈 있는 실현으로 간주한다.
• 다양한 데이터 소스(다중 모달 데이터)를 통합하여 추정을 향상시키며, 공시 발생 패턴과 관측 유형 간의 상호 확인을 활용한다.
• 관측된 데이터와 오차 모델을 바탕으로 진정한 네트워크 구조에 대한 사후 분포를 추정하기 위해 베이지안 추론을 사용한다.
• 각 데이터 스트림의 신뢰성과 소스 특화 편향을 반영하는 가능도 함수를 통해 측정 오차를 명시적으로 모델링한다.
• 불확실성 하에서 기대 손실을 최소화함으로써 최적의 추정을 가능하게 하여 강건한 네트워크 추론을 이끈다.

실험 결과

연구 질문

• RQ1 네트워크 데이터의 측정 오차가 추론된 네트워크 구조의 정확도에 어떤 영향을 미치는가?
• RQ2 측정 불확실성이 존재할 때 다중 모달 데이터가 진정한 네트워크 구조 추정에 얼마나 기여하는가?
• RQ3 원시 데이터로부터의 난잡한 추정과 비교해 볼 때 체계적인 통계적 프레임워크가 네트워크 추론의 편향과 오차를 줄일 수 있는가?
• RQ4 얼굴 마주침 상호작용 네트워크와 자가 보고된 자료 간의 다른 유형의 네트워크 데이터에서 이 방법의 성능은 어떻게 달라지는가?

주요 결과

• 제안된 방법은 원시 데이터로부터의 난잡한 추론과 비교해 구조적 편향을 상당히 줄였다.
• 얼굴 마주침 상호작용 네트워크에서는 기존 표준 방법보다 더 높은 정밀도로 진정한 네트워크 구조를 복원했다.
• 자기 보고된 우정 네트워크에서는 체계적인 과소 및 과대 보고를 보완하여 중심성 및 군집 계수 지표의 정확도를 향상시켰다.
• 다중 모달 데이터의 통합은 개별 데이터 소스가 노이즈가 많거나 불완전할지라도 더 안정적이고 신뢰할 수 있는 네트워크 추정을 이끌어냈다.