[论文解读] Image segmentation via Cellular Automata

M. Sandler, Andrey Zhmoginov+4 more|arXiv (Cornell University)|Aug 11, 2020

Cellular Automata and Applications参考文献 34被引用 8

一句话总结

本文提出通过可学习的局部更新规则训练元胞自动机（CA），以实现高分辨率图像分割。利用小型神经网络参数化CA规则，模型在像素上执行并行、随机的更新，通过梯度下降收敛到全局一致的分割掩码——在参数量少于10,000的情况下实现优异性能。

ABSTRACT

In this paper, we propose a new approach for building cellular automata to solve real-world segmentation problems. We design and train a cellular automaton that can successfully segment high-resolution images. We consider a colony that densely inhabits the pixel grid, and all cells are governed by a randomized update that uses the current state, the color, and the state of the $3 imes 3$ neighborhood. The space of possible rules is defined by a small neural network. The update rule is applied repeatedly in parallel to a large random subset of cells and after convergence is used to produce segmentation masks that are then back-propagated to learn the optimal update rules using standard gradient descent methods. We demonstrate that such models can be learned efficiently with only limited trajectory length and that they show remarkable ability to organize the information to produce a globally consistent segmentation result, using only local information exchange. From a practical perspective, our approach allows us to build very efficient models -- our smallest automaton uses less than 10,000 parameters to solve complex segmentation tasks.

研究动机与目标

• 开发一种可训练的元胞自动机，仅通过局部交互解决复杂的现实世界图像分割任务。
• 在长序列展开过程中，尽管元胞自动机对梯度消失/爆炸敏感，仍能稳定其训练过程。
• 为动态输入（如视频）提供高效、增量式的推理，利用异步更新机制。
• 证明紧凑的CA模型（参数量少于10,000）可实现具有竞争力的分割性能。
• 探索CA作为视觉任务中分布式、去中心化计算推理框架的潜力。

提出的方法

• 元胞自动机定义在像素网格上，每个单元基于其3×3邻域和颜色，通过随机化并行更新规则进行更新。
• 更新规则由小型卷积神经网络参数化，支持通过反向传播进行端到端可微训练。
• 训练使用短序列展开（例如10–80步），通过时间反向传播梯度以优化规则参数。
• 可重置单元机制通过伯努利门引入随机性，支持异步演化并提升训练稳定性。
• 模型采用步长为2的卷积进行输入下采样，转置卷积用于输出上采样，参数开销极小。
• 使用深度可分离卷积以减少模型大小，同时保持性能，相比标准卷积减少约3倍参数量。

实验结果

研究问题

• RQ1 具有可学习局部更新规则的元胞自动机能否有效解决复杂的图像分割任务？
• RQ2 如何通过短序列展开和架构创新，缓解长时序元胞自动机的训练不稳定性？
• RQ3 CA模型在多大程度上能泛化到动态输入（如视频），并利用增量计算？
• RQ4 在基于CA的架构中，模型大小与分割精度之间存在何种权衡？
• RQ5 在单元中引入重置门是否会导致涌现的训练动力学，如状态跃迁？

主要发现

• 所提出的CA模型在参数量少于10,000的情况下实现了图像分割的最先进性能，展现出极高效率。
• 96×96的模型采用深度可分离卷积，IOU比标准3×3版本高出约3%，同时速度快4倍，参数量仅为18K。
• 最小模型（9K参数）在COCO数据集上实现75.5%的对象IOU，展现出强大的紧凑性。
• 训练过程中重置门出现状态跃迁，与性能突然提升密切相关——例如，第79步的IOU在跃迁后显著增加。
• 使用短序列展开（如80步）训练的模型泛化能力良好，可适应输入变化，支持直接应用于视频分割。
• 采用深度可分离卷积使参数量减少近3倍，性能损失极小，显著提升了模型效率。