[논문 리뷰] Toward an information theory of complex networks

Kartik Anand, Ginestra Bianconi|arXiv (Cornell University)|2009. 07. 09.

Computational Drug Discovery Methods인용 수 2

한 줄 요약

이 논문은 정보이론 개념을 확장하여 네트워크 집합에 대한 샤논 엔트로피를 정의하는 프레임워크를 제안하며, 지브스 및 본 네움안 엔트로피와 연결한다. 이 접근법은 최대 엔트로피(null) 모델을 가능하게 하고, 복잡한 네트워크에서 엄밀한 정보이론적 기반을 바탕으로 추론을 발전시킨다.

ABSTRACT

The quantification of the complexity of networks is, today, a fundamental problem in the physics of complex systems. A possible roadmap to solve the problem is via extending key concepts of information theory to networks. In this paper we propose how to define the Shannon entropy of a network ensemble and how it relates to the Gibbs and von Neumann entropies of network ensembles. The quantities we introduce here will play a crucial role for the formulation of null models of networks through maximum-entropy arguments and will contribute to inference problems emerging in the field of complex networks.

연구 동기 및 목표

• 정보이론 원칙을 사용하여 네트워크 집합에 대한 샤논 엔트로피의 공식적 정의를 수립하기 위해.
• 네트워크 집합 엔트로피를 통계역학의 기존 개념, 예를 들어 지브스 및 본 네움안 엔트로피와 연결하기 위해.
• 복잡한 네트워크에서 최대 엔트로피(null) 모델을 구성하기 위한 이론적 기반을 제공하기 위해.
• 정보이론적 추론에 기반하여 네트워크 과학의 추론 문제를 지원하기 위해.
• 엔트로피 기반 측정을 통해 네트워크 구조의 체계적 특성화 및 비교를 가능하게 하기 위해.

제안 방법

• 가능한 네트워크 실현의 확률분포로 네트워크를 모델링하여 샤논 엔트로피를 네트워크 집합으로 확장한다.
• 제안된 샤논 엔트로피와 네트워크 집합의 지브스 엔트로피 사이의 관계를 유도한다.
• 네트워크의 인접행렬과 고유값을 통해 네트워크 집합 엔트로피와 본 네움안 엔트로피 사이의 연결 고리를 수립한다.
• 최대 엔트로피 원리를 적용하여 특정 구조적 제약 조건을 유지하는 null 모델을 유도한다.
• 형식적 체계를 사용하여 집합 수준의 성질을 분석하고 불확실성 하에서 네트워크 구조를 추론한다.
• 통계역학과 정보이론의 개념을 통합하여 복잡한 네트워크에 대한 일관된 엔트로피 측정을 정의한다.

실험 결과

연구 질문

• RQ1 네트워크 집합에 대해 샤논 엔트로피를 어떻게 공식적으로 정의할 수 있는가?
• RQ2 네트워크 집합의 샤논 엔트로피와 지브스 엔트로피 및 본 네움안 엔트로피 사이의 관계는 무엇인가?
• RQ3 최대 엔트로피 원리는 어떻게 복잡한 네트워크의 null 모델을 생성하는 데 적용될 수 있는가?
• RQ4 이 엔트로피 프레임워크는 네트워크 추론과 구조적 특성화를 어떻게 향상시키는가?
• RQ5 이 정보이론적 접근 방식은 네트워크 과학에서 다양한 엔트로피 측정을 통합할 수 있는가?

주요 결과

• 논문은 네트워크 집합의 샤논 엔트로피를 가능한 네트워크 구성에 대한 불확실성의 척도로 성공적으로 정의한다.
• 특정 조건 하에서 네트워크 집합의 샤논 엔트로피와 지브스 엔트로피 사이의 수학적 동치성을 확립한다.
• 이 프레임워크는 인접행렬의 고유값을 통해 네트워크 집합 엔트로피를 본 네움안 엔트로피와 연결한다.
• 유도된 엔트로피 측정은 특정 위상적 제약 조건을 유지하는 최대 엔트로피 null 모델의 구축을 가능하게 한다.
• 이 접근법은 불확실성과 정보 내용을 형식화함으로써 복잡한 네트워크에서 추론을 위한 원칙적인 기반을 제공한다.
• 결과는 네트워크 과학에서 통합된 정보이론적 언어를 위한 기초를 마련한다.