[논문 리뷰] A Notion of Entropy for Stochastic Processes on Marked Rooted Graphs

Payam Delgosha, Venkat Anantharam|arXiv (Cornell University)|2019. 08. 02.

Markov Chains and Monte Carlo Methods참고 문헌 7인용 수 6

한 줄 요약

이 논문은 국소 약한 수렴 프레임워크를 사용하여 마킹된 루트를 가진 그래프 위의 정적 확률과정에 대한 새로운 엔트로피 개념을 제안한다. 이는 Bordenave와 Caputo의 엔트로피를 정점 및 간선 마킹이 있는 그래프로 일반화하며, 최종적으로 단일화된 Galton-Watson 트리와 soficity를 통해 그래프 구조, 과정의 정적성, 엔트로피 간의 연결 고리를 수립한다.

ABSTRACT

In this document, we introduce a notion of entropy for stochastic processes on marked rooted graphs. For this, we employ the framework of local weak limit theory for sparse marked graphs, also known as the objective method, due to Benjamini, Schramm, Aldous, Steele and Lyons. Our contribution is a generalization of the notion of entropy introduced by Bordenave and Caputo to graphs which carry marks on their vertices and edges. The theory of time series is the engine driving an enormous range of applications in areas such as control theory, communications, information theory and signal processing. It is to be expected that a theory of stationary stochastic processes indexed by combinatorial structures, in particular graphs, would eventually have a similarly wide-ranging impact.

연구 동기 및 목표

• 간단한 그래프에서의 확률과정에 대한 엔트로피 개념을 정점 및 간선 마킹이 있는 루트를 가진 그래프로 확장하는 것.
• 희박하고 국소적으로 유한한 마킹된 그래프에 색인된 정적 확률과정에 대한 엔트로피 이론적 프레임워크를 개발하는 것.
• 엔트로피, 국소 약한 수렴, 단일화된 Galton-Watson 과정의 soficity 간의 연결 고리를 수립하는 것.
• 조합론적 및 측도론적 접근을 통해 Bordenave와 Caputo의 엔트로피 구성법을 간선 및 정점 마킹을 포함하도록 일반화하는 것.

제안 방법

• 마킹된 그래프에서 루트를 가진 이웃의 수렴 분포를 기반으로 국소 약한 수렴 이론(목적 방법)을 사용하여 엔트로피를 정의한다.
• 주어진 정점 및 간선 마킹 수를 가진 마킹된 그래프의 수의 점근적 로그 성장률을 통해 엔트로피를 정의한다.
• Stirling의 근사와 조합론적 수세기 기법을 적용하여 마킹 분포 빈도의 함수로 엔트로피 표현식을 유도한다.
• 큰 랜덤 마킹된 그래프의 국소 구조를 나타내기 위해 단일화된 Galton-Watson 트리(UGWT)를 한계 대상으로 도입한다.
• 자uncated 과정들에 대한 대각선화 방법을 통해 한계 단일화 측도의 soficity 를 확립한다.
• Lévy–Prokhorov 거리로 루트를 가진 이웃의 경험적 분포와 한계 분포를 비교한다.

실험 결과

연구 질문

• RQ1 정점 및 간선 마킹이 있는 마킹된 루트를 가진 그래프 위의 정적 확률과정에 대해 엔트로피는 어떻게 정의할 수 있는가?
• RQ2 지정된 정점 및 간선 마킹 빈도를 가진 마킹된 그래프의 수의 점근적 행동은 어떠한가?
• RQ3 마킹된 그래프 수열의 국소 약한 수렴은 기저가 되는 확률과정의 엔트로피와 어떻게 관련이 있는가?
• RQ4 마킹된 그래프 수열의 한계 단일화 측도가 sofic가 되는 조건은 무엇인가?
• RQ5 마킹된 그래프 과정의 엔트로피는 그 국소 이웃 분포의 엔트로피로 표현될 수 있는가?

주요 결과

• 마킹된 루트를 가진 그래프 위의 정적 확률과정의 엔트로피는 주어진 정점 및 간선 마킹 빈도를 가진 마킹된 그래프의 수의 로그 성장률과 점근적으로 동치이다.
• 엔트로피 표현식은 $ nH(Q) + \norm{\bm{m}^{(n)}}_1 /\log n + n\textstyle\bigsum_{x,x'} s(d_{x,x'}) + o(n) $ 로 표현되며, 여기서 $ H(Q) $ 는 마킹 분포의 샤논 엔트로피이고 $ s(d_{x,x'}) $ 는 간선 마킹 빈도 기여도를 나타낸다.
• 기저 분포 $ P $ 가 유한한 지지집합을 가질 경우, 한계 단일화된 Galton-Watson 측도 $ \mu = \mathsf{UGWT}_h(P) $ 는 sofic이며, 이 성질은 일반적인 경우에 대각선화 방법을 통해 확장된다.
• 엔트로피 구성법은 Bordenave와 Caputo의 결과를 마킹된 그래프로 일반화하며, 핵심적인 차이점은 이웃 이somorphism 클래스에 정점 및 간선 마킹을 포함하는 것이다.
• Lévy–Prokhorov 거리에서 이웃 분포의 수렴은 국소 약한 수렴 하에서 엔트로피가 잘 정의됨을 보장한다.
• 이 방법은 전역 대칭성이 없더라도 과정의 엔트로피가 국소 구조와 마킹 빈도에 의해 결정됨을 입증한다.