[论文解读] Teaching a machine to see: unsupervised image segmentation and categorisation using growing neural gas and hierarchical clustering

Alex Hocking, J. E. Geach+2 more|arXiv (Cornell University)|Jul 6, 2015

Neural Networks and Applications参考文献 5被引用 8

一句话总结

本文提出了一种无监督机器学习框架，结合了增长神经气体（GNG）与层次聚类，可在无需预先标注的情况下自动分割和标注天文图像。该模型在一张哈勃前沿场图像（Abell 2744）上进行训练，成功对另一张未见场（MACS 0416.1-2403）中的早期型与晚期型星系进行了分类，展示了在完全自动化、可扩展的方式下对复杂星系结构进行一致且类人的分割与标注能力。

ABSTRACT

We present a novel unsupervised learning approach to automatically segment and label images in astronomical surveys. Automation of this procedure will be essential as next-generation surveys enter the petabyte scale: data volumes will exceed the capability of even large crowd-sourced analyses. We demonstrate how a growing neural gas (GNG) can be used to encode the feature space of imaging data. When coupled with a technique called hierarchical clustering, imaging data can be automatically segmented and labelled by organising nodes in the GNG. The key distinction of unsupervised learning is that these labels need not be known prior to training, rather they are determined by the algorithm itself. Importantly, after training a network can be be presented with images it has never 'seen' before and provide consistent categorisation of features. As a proof-of-concept we demonstrate application on data from the Hubble Space Telescope Frontier Fields: images of clusters of galaxies containing a mixture of galaxy types that would easily be recognised and classified by a human inspector. By training the algorithm using one field (Abell 2744) and applying the result to another (MACS0416.1-2403), we show how the algorithm can cleanly separate image features that a human would associate with early and late type galaxies. We suggest that the algorithm has potential as a tool in the automatic analysis and data mining of next-generation imaging and spectral surveys, and could also find application beyond astronomy.

研究动机与目标

• 开发一种无监督机器学习方法，用于大规模天文巡天中的自动图像分割与分类。
• 通过仅依赖图像内在特征发现并分配标签，消除对预标注数据的依赖。
• 通过在哈勃前沿场一个星系团场训练并在另一个未见场应用，证明该方法在数据集间的泛化能力。
• 实现对LSST和Euclid等拍字节级成像巡天的可扩展、一致且自动化的分析。
• 探索该方法在天文学以外领域的潜力，如医学或卫星成像。

提出的方法

• 该方法使用增长神经气体（GNG）对像素数据的特征空间进行编码，学习图像结构的拓扑表示。
• 从局部强度、颜色和空间梯度信息构建特征向量，以捕捉形态与光度特性。
• 对GNG节点应用层次聚类，将相似特征分组为独立类别，构成图像分割的基础。
• 基于聚类中心为节点分配标签，并通过重标记程序减少冗余并提升可解释性。
• 通过将新图像中的像素映射到最近的GNG节点并继承其聚类标签，将训练好的模型应用于未见图像。
• 该算法高度可并行化，分类时间与图像大小呈线性关系，可高效处理大规模数据集。

实验结果

研究问题

• RQ1 无监督学习方法能否在无需人类预标注数据的情况下自动分割和标注天文图像中的星系？
• RQ2 在某一星系团场训练的模型能否泛化到另一未见场，并正确区分早期型与晚期型星系？
• RQ3 GNG与层次聚类的结合在图像分割中多大程度上能保持形态与光度结构？
• RQ4 该算法在复杂星系中识别细微或模糊特征（如分辨的旋臂与星系核球）的能力如何？
• RQ5 当应用于大规模成像巡天时，该方法的计算效率如何？是否具备扩展至拍字节级数据的能力？

主要发现

• 该算法仅使用Abell 2744的训练数据，成功对MACS 0416.1-2403场中的早期型与晚期型星系进行了分割与标注，证明了其在数据集间的泛化能力。
• 该模型实现了星系类型的清晰分离，包括对引力透镜特征及空间分辨结构（如核球与旋臂）的识别。
• 该算法在不同图像间保持了稳定的分类结果，分辨星系中因不同形态组分而出现的双重标注现象。
• 训练时间平均为每像素39.5毫秒，推理时间每像素1.7毫秒（标准台式机），显示出强大的可扩展潜力。
• 该方法完全可并行化，可通过GPU计算加速，目前正在进行CUDA移植以进一步提升性能。
• 该方法具有通用性，可扩展至其他数据类型（如光谱数据），在医学、卫星与安防成像等领域亦具应用潜力。