[论文解读] Notes on information geometry and evolutionary processes

Marc Toussaint|ArXiv.org|Aug 20, 2004

Gene Regulatory Network Analysis参考文献 7被引用 9

一句话总结

本文将信息几何作为分析进化计算中概率分布结构特性的框架，表明阿马里（Amari）的$\theta$-坐标精确捕捉了$k$阶交互作用，且如均匀交叉等进化算子可被解释为沿$m$-测地线的正交投影，从而减少高阶依赖性。其主要贡献在于将进化计算概念与信息几何实现几何统一，揭示了构建块基（Building-Block Basis）等价于阿马里的$\eta$-基，并通过Kullback-Leibler散度与类似毕达哥拉斯定理的性质，使对算子的深层理解成为可能。

ABSTRACT

In order to analyze and extract different structural properties of distributions, one can introduce different coordinate systems over the manifold of distributions. In Evolutionary Computation, the Walsh bases and the Building Block Bases are often used to describe populations, which simplifies the analysis of evolutionary operators applying on populations. Quite independent from these approaches, information geometry has been developed as a geometric way to analyze different order dependencies between random variables (e.g., neural activations or genes). In these notes I briefly review the essentials of various coordinate bases and of information geometry. The goal is to give an overview and make the approaches comparable. Besides introducing meaningful coordinate bases, information geometry also offers an explicit way to distinguish different order interactions and it offers a geometric view on the manifold and thereby also on operators that apply on the manifold. For instance, uniform crossover can be interpreted as an orthogonal projection of a population along an m-geodesic, monotonously reducing the theta-coordinates that describe interactions between genes.

研究动机与目标

• 通过比较用于分析分布结构的坐标系，将信息几何与进化计算统一起来。
• 利用信息论距离，阐明如突变、交叉和选择等进化算子的几何解释。
• 证明进化计算中的构建块基（Building-Block Basis）等价于阿马里（Amari）的$\eta$-基，且$\theta$-坐标可对$k$阶交互作用进行精确分解。
• 表明如均匀交叉和最大熵搜索等算子可被解释为信息几何中的正交投影，从而最小化Kullback-Leibler散度。

提出的方法

• 使用阿马里（Amari）的$\theta$-和$\eta$-坐标系在分布流形上表示概率分布，从而实现对$k$阶交互作用分量的分解。
• 将Kullback-Leibler散度用作Riemann度量，以定义分布之间的几何距离与投影。
• 将均匀交叉解释为从$p$到其一阶简化形式$p^{(1)}$的$m$-测地线上的一步，对应于减少$\theta_{1^*}$坐标的正交投影。
• 利用KL散度的毕达哥拉斯定理，将最小化散度解释为正交投影，尤其在最大熵原理背景下。
• 将Walsh基与构建块基同阿马里的$\eta$-基进行比较，表明其在结构与可解释性上等价。
• 将选择与重组分别建模为熵减少与熵增加过程，并将搜索启发式方法视为在子流形上的几何操作。

实验结果

研究问题

• RQ1 信息几何如何为分析进化计算中概率分布的结构提供一个几何框架？
• RQ2 Walsh基、构建块基与阿马里（Amari）的$\theta$-和$\eta$-坐标系之间存在何种关系？
• RQ3 如何将如均匀交叉等进化算子解释为正交投影等几何操作？
• RQ4 搜索启发式中的最大熵原理是否可被理解为通过最小化Kullback-Leibler散度实现的几何投影？
• RQ5 $k$阶交互作用分量（$\theta_{k^*}$）在表征种群结构内容方面起什么作用？

主要发现

• 进化计算中使用的构建块基（Building-Block Basis）在数学上等价于阿马里（Amari）的$\eta$-基，为表型可塑性（epistasis）与结构分解提供了统一的解释。
• 阿马里（Amari）的$\theta$-坐标提供了对$k$阶互依存关系的精确、信息几何分解，为分析表型可塑性提供了替代Walsh谱的方法。
• 均匀交叉作为沿从$p$到$p^{(1)}$的$m$-测地线的正交投影，单调地减少代表高阶交互作用的$\theta_{1^*}$坐标。
• 搜索启发式中使用的最大熵原理对应于设定$\theta_{2^*} = 0$，这等价于将父代分布正交投影到子流形$E_{2^*}(0)$上，从而最小化KL散度。
• 在信息几何中，Kullback-Leibler散度满足类似毕达哥拉斯定理的性质，使最小化问题可被几何地解释为正交投影。
• 几何视角揭示：选择降低熵，而突变与交叉通常通过减少互信息（以$\theta$-坐标下降为量度）破坏结构内容。