[论文解读] Intrinsically Motivated Discovery of Diverse Patterns in Self-Organizing Systems

Chris Reinke, Mayalen Etcheverry+1 more|arXiv (Cornell University)|Aug 19, 2019

Cellular Automata and Applications参考文献 52被引用 15

一句话总结

本文提出了一种内在动机驱动的、样本高效的框架，用于自动发现高维动力系统（如连续版《生命游戏》）中多样化的自组织模式。通过结合深度自编码器进行无监督目标空间表征学习与基于CPPN的初始化，该方法比随机搜索更高效地发现新颖的空间局域化模式，并在性能上达到与专家整理数据库相当的水平。

ABSTRACT

In many complex dynamical systems, artificial or natural, one can observe self-organization of patterns emerging from local rules. Cellular automata, like the Game of Life (GOL), have been widely used as abstract models enabling the study of various aspects of self-organization and morphogenesis, such as the emergence of spatially localized patterns. However, findings of self-organized patterns in such models have so far relied on manual tuning of parameters and initial states, and on the human eye to identify interesting patterns. In this paper, we formulate the problem of automated discovery of diverse self-organized patterns in such high-dimensional complex dynamical systems, as well as a framework for experimentation and evaluation. Using a continuous GOL as a testbed, we show that recent intrinsically-motivated machine learning algorithms (POP-IMGEPs), initially developed for learning of inverse models in robotics, can be transposed and used in this novel application area. These algorithms combine intrinsically-motivated goal exploration and unsupervised learning of goal space representations. Goal space representations describe the interesting features of patterns for which diverse variations should be discovered. In particular, we compare various approaches to define and learn goal space representations from the perspective of discovering diverse spatially localized patterns. Moreover, we introduce an extension of a state-of-the-art POP-IMGEP algorithm which incrementally learns a goal representation using a deep auto-encoder, and the use of CPPN primitives for generating initialization parameters. We show that it is more efficient than several baselines and equally efficient as a system pre-trained on a hand-made database of patterns identified by human experts.

研究动机与目标

• 自动化发现高维复杂动力系统（如连续版《生命游戏》）中多样化的自组织模式。
• 通过从数据中学习低维目标空间表征，解决在无须人工提供特征工程的情况下定义‘有趣’模式的挑战。
• 通过结构化初始化与内在动机，提升在高维参数空间中探索的样本效率。
• 在模式发现背景下，评估并比较不同方法在学习目标空间表征方面的表现。

提出的方法

• 将POP-IMGEPs（基于种群的内在动机目标探索过程）适配用于自组织系统中的自动化发现。
• 使用深度变分自编码器（β-VAE）学习最终模式（行为空间）与初始状态（参数空间）的低维、解耦表征。
• 采用CPPN（组合模式乘法网络）生成结构化、多样化的《生命游戏》模拟初始条件。
• 在学习到的目标空间中通过多样性驱动的探索策略实现内在动机，鼓励发现新颖且差异显著的模式。
• 通过在潜在目标空间中使用离散化网格来度量多样性，统计占据的网格箱数以量化模式多样性。
• 在多个算法运行中收集的自收集数据上训练β-VAE，以实现无监督、数据驱动的目标表征学习。

实验结果

研究问题

• RQ1 在无须人工定义特征的情况下，基于学习到的目标空间表征的内在动机探索是否能有效发现高维动力系统中多样化的自组织模式？
• RQ2 目标空间表征的选择（手工设计 vs. 学习得到）如何影响模式发现的多样性与效率？
• RQ3 基于CPPN的初始化在探索复杂参数空间以实现模式发现时，能在多大程度上提升样本效率？
• RQ4 与随机搜索和专家整理的数据库相比，所提出方法在多样性与发现效率方面表现如何？
• RQ5 基于离散化潜在空间的多样性度量是否能可靠地反映所发现模式之间的有意义差异？

主要发现

• 所提出方法结合了β-VAE学习到的目标空间与基于CPPN的初始化，在模式发现多样性方面优于随机搜索与基线方法。
• 该算法发现的唯一模式数量与在人类专家整理的数据库上预训练的系统相当。
• 多样性度量对超参数选择具有鲁棒性，在不同网格箱数下算法排名保持一致，验证了其可靠性。
• 基于β-VAE的目标空间表征可实现有效的无监督模式发现，无需预先了解显著特征。
• 使用CPPN进行初始化显著提升了样本效率，使算法能在高维参数空间中更快收敛至多样化模式。
• β-VAE的重建结果表明，模型捕捉到了整体形状与结构特征，但未保留细粒度纹理，证实了其聚焦于全局模式特征。