[论文解读] Hierarchically Organized Latent Modules for Exploratory Search in Morphogenetic Systems

Mayalen Etcheverry, Clément Moulin-Frier+1 more|arXiv (Cornell University)|Jul 2, 2020

Cellular Automata and Applications参考文献 77被引用 12

一句话总结

该论文提出了 HOLMES，一种分层的、模块化的自编码器，用于在形态发生系统（如连续的生命游戏，Lenia）中进行探索性搜索，学习多样化且可由用户自适应的行为嵌入。通过将潜在表征动态组织为树状层次结构，并结合内在动机的目标探索机制，HOLMES 实现了元多样性搜索——利用最少的反馈，将发现的模式自适应地调整至用户偏好，显著优于单一架构在对齐用户兴趣方面的表现。

ABSTRACT

Self-organization of complex morphological patterns from local interactions is a fascinating phenomenon in many natural and artificial systems. In the artificial world, typical examples of such morphogenetic systems are cellular automata. Yet, their mechanisms are often very hard to grasp and so far scientific discoveries of novel patterns have primarily been relying on manual tuning and ad hoc exploratory search. The problem of automated diversity-driven discovery in these systems was recently introduced [26, 62], highlighting that two key ingredients are autonomous exploration and unsupervised representation learning to describe "relevant" degrees of variations in the patterns. In this paper, we motivate the need for what we call Meta-diversity search, arguing that there is not a unique ground truth interesting diversity as it strongly depends on the final observer and its motives. Using a continuous game-of-life system for experiments, we provide empirical evidences that relying on monolithic architectures for the behavioral embedding design tends to bias the final discoveries (both for hand-defined and unsupervisedly-learned features) which are unlikely to be aligned with the interest of a final end-user. To address these issues, we introduce a novel dynamic and modular architecture that enables unsupervised learning of a hierarchy of diverse representations. Combined with intrinsically motivated goal exploration algorithms, we show that this system forms a discovery assistant that can efficiently adapt its diversity search towards preferences of a user using only a very small amount of user feedback.

研究动机与目标

• 为解决单一架构的行为嵌入空间固有的局限性，即其会偏向于单一、任意的多样性度量。
• 实现在形态发生系统中自动化的、以多样性为导向的发现，使其与未知最终用户的需求保持一致。
• 开发一种模块化、分层的表征学习系统，支持在复杂模式空间中进行动态、用户引导的探索。
• 证明分层的无监督特征学习可提高所发现形态发生模式的适应性与相关性。

提出的方法

• 提出一种分层的、模块化的自编码器（HOLMES），在多个抽象层次上学习解耦的、任务特定的潜在表征。
• 使用树状层次结构，根据观察到的模式多样性递归地分割潜在空间，实现多层级的行为表征。
• 将分层嵌入与内在动机的目标探索策略（IMGEP）相结合，从叶节点采样目标，并在这些目标周围的超立方体边界内进行探索。
• 采用动态分割过程，基于模式分布拟合节点之间的边界，确保视觉上不同的类别被有效分离。
• 通过用户反馈支持系统重加权探索方向，引导系统向层次结构中特定分支集中，从而引导发现用户偏好的模式类型（如 SLPs 或 TLPs）。
• 以持续学习的方式训练系统，使其能够随着新发现的模式自适应地优化表征。

实验结果

研究问题

• RQ1 分层表征学习系统是否能提升所发现形态发生模式与用户偏好的对齐程度？
• RQ2 单一架构的行为嵌入空间是否固有地偏向于单一、不可调节的多样性度量？
• RQ3 模块化、分层的自编码器能否学习到解耦的、任务特定的特征，以支持多样且有意义的模式分类？
• RQ4 用户反馈在高维、复杂的形态发生空间中，能否有效引导探索朝向特定模式类型？
• RQ5 与平坦的单一架构相比，分层结构是否能实现更高效、更精准的发现？

主要发现

• HOLMES 有效学习到一个分层的潜在表征树，将发现的模式组织为视觉上明显的类别，如 SLPs 和 TLPs。
• 在无引导状态下，HOLMES 发现了广泛的模式多样性，100% 的模式均分布于层次结构中，反映出多层次的变异。
• 在模拟用户反馈引导下，HOLMES 调整了探索方向：当引导至 SLPs 时，34% 的模式落入与 SLPs 相关的叶节点；当引导至 TLPs 时，15% 的模式落入与 TLPs 相关的节点。
• 模式占比低的叶节点（如 BC 001 的 5.7%）对应于不稳定的生态位，微小的参数变化即可导致模式被转移至其他类别。
• 分层结构支持动态适应：当引导至特定模式类型（如 TLPs 或 SLPs）时，相关分支变得更复杂且更密集。
• 系统表明，元多样性——即与用户兴趣对齐的多样性——无法通过单一嵌入实现，后者在用户定义的兴趣之间缺乏泛化能力。