[论文解读] A Notion of Entropy for Stochastic Processes on Marked Rooted Graphs

Payam Delgosha, Venkat Anantharam|arXiv (Cornell University)|Aug 2, 2019

Markov Chains and Monte Carlo Methods参考文献 7被引用 6

一句话总结

本文利用局部弱极限框架，为带标记根图上的平稳随机过程引入了一种新的熵概念。该研究将Bordenave和Caputo的熵概念推广至包含顶点标记和边标记的图，通过无标度Galton-Watson树与极限状态下的Soficity，建立了图结构、过程平稳性与熵之间的联系。

ABSTRACT

In this document, we introduce a notion of entropy for stochastic processes on marked rooted graphs. For this, we employ the framework of local weak limit theory for sparse marked graphs, also known as the objective method, due to Benjamini, Schramm, Aldous, Steele and Lyons. Our contribution is a generalization of the notion of entropy introduced by Bordenave and Caputo to graphs which carry marks on their vertices and edges. The theory of time series is the engine driving an enormous range of applications in areas such as control theory, communications, information theory and signal processing. It is to be expected that a theory of stationary stochastic processes indexed by combinatorial structures, in particular graphs, would eventually have a similarly wide-ranging impact.

研究动机与目标

• 将随机过程的熵概念从简单图推广至带有顶点标记和边标记的带标记根图。
• 为稀疏、局部有限的带标记图上索引的平稳随机过程，建立熵的理论框架。
• 建立熵、局部弱收敛与无标度Galton-Watson过程Soficity之间的联系。
• 通过组合与测度论方法，将Bordenave和Caputo的熵构造推广至包含边标记与顶点标记的情形。

提出的方法

• 利用局部弱极限理论（目标方法）通过带标记图中根邻域的极限分布来定义熵。
• 通过给定顶点与边标记计数的带标记图数量的渐近对数增长速率来定义熵。
• 应用Stirling近似与组合计数，推导出基于标记分布频率的熵表达式。
• 引入无标度Galton-Watson树（UGWT）作为大随机带标记图局部结构的极限对象。
• 通过截断过程上的对角化论证，建立极限无标度测度的Soficity。
• 使用Lévy–Prokhorov距离比较根邻域的实证分布与极限分布。

实验结果

研究问题

• RQ1 如何为带有顶点与边标记的带标记根图上的平稳随机过程定义熵？
• RQ2 具有指定顶点与边标记计数的带标记图数量的渐近行为是什么？
• RQ3 带标记图序列的局部弱极限如何与底层随机过程的熵相关联？
• RQ4 在何种条件下，带标记图序列的极限无标度测度是Sofic的？
• RQ5 能否用其局部邻域分布熵来表达带标记图过程的熵？

主要发现

• 带标记根图上平稳随机过程的熵，渐近等价于给定顶点与边标记计数的带标记图数量的对数增长速率。
• 熵表达式为 $ nH(Q) + \norm{\bm{m}^{(n)}}_1 /\log n + n\textstyle\bigsum_{x,x'} s(d_{x,x'}) + o(n) $，其中 $ H(Q) $ 为标记分布的Shannon熵，$ s(d_{x,x'}) $ 反映边标记频率的贡献。
• 当底层分布 $ P $ 具有有限支撑时，极限无标度Galton-Watson测度 $ \mu = \mathsf{UGWT}_h(P) $ 是Sofic的，且通过一个对角化论证可将该性质推广至一般情形。
• 该熵构造将Bordenave和Caputo的结果推广至带标记图，关键区别在于邻域同构类中包含了顶点与边标记。
• 在Lévy–Prokhorov度量下邻域分布的收敛性，确保了在局部弱收敛下熵在极限下是良定义的。
• 该方法表明，即使在缺乏全局对称性的情况下，带标记图上过程的熵仍由局部结构与标记频率决定。