[论文解读] A condition for the genotype-phenotype mapping: Causality

Bernhard Sendhoff, Martin Kreutz+1 more|arXiv (Cornell University)|Nov 4, 1997

Evolution and Genetic Dynamics参考文献 9被引用 58

一句话总结

本文提出了一种概率性因果条件，用于评估进化算法中基因型到表型映射的质量，确保微小的遗传变化导致微小的表型变化。通过量化突变引起的距离关系所保留的邻域结构，该方法识别出次优的映射，并指导改进的突变算子设计，尤其在神经网络结构优化中，采用自适应突变策略可将因果性违反减少高达50%。

ABSTRACT

The appropriate choice of the genotype-phenotype mapping in combination with the mutation operator is important for a successful evolutionary search process. We suggest a measure to quantify the quality of this combination by addressing the question whether the relation among distances is carried over from one space to the other. Search processes which do not destroy the neighbourhood structure are termed strongly causal. We apply the proposed measure to parameter and structure optimisation problems in order to assess the combination (mapping, mutation operator) and at the same time to be able to propose improved settings.

研究动机与目标

• 开发一种正式条件，确保微小的遗传变化导致微小的表型变化，从而在进化算法中实现受控的、渐进的搜索。
• 使用邻域结构保留的概率度量，量化（映射，突变算子）组合的质量。
• 识别违反因果性的有缺陷的基因型到表型映射，尤其是在神经网络架构搜索等复杂结构优化任务中。
• 指导改进的突变算子设计，以增强因果性，从而提高搜索效率和自适应能力。

提出的方法

• 基于突变概率定义基因型空间距离度量：$ d(g_i, g_j) = -\log\left(\frac{1}{P_{id}} P(g_i \xrightarrow{\vec{\sigma}} g_j)\right) $，其中 $ P_{id} $ 为自突变概率。
• 引入强因果性的概念：通过突变实现的微小基因型变化必须意味着微小的表型变化，从而保留邻域结构。
• 提出概率性因果条件：$ P(A|B) \approx 1 $，其中 A 表示微小的表型变化，B 表示微小的基因型变化，$ 1 - P(A|B) $ 用于度量因果性违反。
• 将该条件应用于参数优化和神经网络结构优化，通过 $ 10^5 $ 次试验的蒙特卡洛采样估算 $ P(A|B) $。
• 设计一种位置和冗余感知的突变算子：对于冗余符号，$ p_m(x_k(S_C)) = p_m \cdot (N_{x_k(S_C)} + 1) $；对于连接向量中的早期位置元素，使用 $ p_m^2 $。
• 在神经网络编码上通过实证验证该方法，比较固定与自适应突变率在因果性违反概率方面的表现。

实验结果

研究问题

• RQ1 在突变下，基因型到表型映射在多大程度上保留了邻域结构？如何对其进行量化？
• RQ2 特定编码参数（如 $ d_{S_C}, N_{sym} $）如何影响神经网络结构优化中因果性违反的可能性？
• RQ3 修改突变算子能否减少因果性违反？如果是，哪些修改最为有效？
• RQ4 改善（映射，突变）系统中的因果性是否能带来进化搜索性能的提升？

主要发现

• 该系统通常不具备强因果性，尤其在某些编码参数 $ d_{S_C} $ 和 $ N_{sym} $ 的组合下，表明在标准设置中存在显著的因果性违反。
• 当 $ d_{S_C} \approx N_{sym} $ 时，因果性违反率最低，表明该参数设置最优化邻域结构的保留。
• $ d_E $ 和 $ d_I $ 编码方案之间的因果性表现差异极小，表明该方法在不同编码类型下均具有鲁棒性。
• 自适应突变算子通过提高冗余符号和早期位置元素的突变概率，在高冗余配置下可将因果性违反概率减少高达50%。
• 修改后的突变算子显著降低了 $ 1 - P(A|B) $，尤其在 $ N_{sym} $ 固定而 $ d_{S_C} $ 增加时，证实了因果性的增强。
• 在参数优化中，因果性的提升与算法性能的改善相关，验证了该方法的实际效用。