[论文解读] Paying Attention to Astronomical Transients: Introducing the Time-series Transformer for Photometric Classification

Tarek Allam, Jason D. McEwen|arXiv (Cornell University)|May 13, 2021

Time Series Analysis and Forecasting被引用 7

一句话总结

本文提出了一种新颖的时间序列Transformer架构t2，专为天文物体的测光分类而设计。通过在光变曲线和附加特征上应用多头自注意力机制，该模型在类别不平衡的PLAsTiCC数据集上实现了0.507的对数损失，达到当前最优性能，同时最大限度减少了对专家特征工程的依赖，并通过类别激活图（CAMs）实现了可解释性。

ABSTRACT

Future surveys such as the Legacy Survey of Space and Time (LSST) of the Vera C. Rubin Observatory will observe an order of magnitude more astrophysical transient events than any previous survey before. With this deluge of photometric data, it will be impossible for all such events to be classified by humans alone. Recent efforts have sought to leverage machine learning methods to tackle the challenge of astronomical transient classification, with ever improving success. Transformers are a recently developed deep learning architecture, first proposed for natural language processing, that have shown a great deal of recent success. In this work we develop a new transformer architecture, which uses multi-head self attention at its core, for general multi-variate time-series data. Furthermore, the proposed time-series transformer architecture supports the inclusion of an arbitrary number of additional features, while also offering interpretability. We apply the time-series transformer to the task of photometric classification, minimising the reliance of expert domain knowledge for feature selection, while achieving results comparable to state-of-the-art photometric classification methods. We achieve a logarithmic-loss of 0.507 on imbalanced data in a representative setting using data from the Photometric LSST Astronomical Time-Series Classification Challenge (PLAsTiCC). Moreover, we achieve a micro-averaged receiver operating characteristic area under curve of 0.98 and micro-averaged precision-recall area under curve of 0.87.

研究动机与目标

• 解决LSST巡天每晚预计数百万个暂现源分类的挑战。
• 减少在天文物体测光分类中对专家驱动特征工程的依赖。
• 开发一种能够处理典型天文巡天中类别不平衡、非代表性训练数据的深度学习模型。
• 通过突出显示重要的光变曲线和辅助特征，实现模型决策的可解释性。
• 构建一种适用于天文学以外领域的多变量时间序列分类的通用架构。

提出的方法

• 提出一种基于多头自注意力层的时间序列Transformer架构t2，用于建模测光光变曲线中的时间依赖性。
• 将任意附加特征（如红移）直接整合到输入嵌入中，实现对时间序列和元数据的联合注意力。
• 使用类别激活图（CAMs）通过可视化光变曲线和特征上的注意力权重，提供可解释性。
• 采用带焦点加权的交叉熵损失进行端到端训练，以缓解类别不平衡问题。
• 采用标准的Transformer编码器结构，不包含解码器，专注于序列分类任务。
• 应用位置编码以保留时间顺序，使模型能够在无循环机制的情况下学习时间模式。

实验结果

研究问题

• RQ1 基于自注意力机制的架构是否能在无需大量特征工程的情况下实现测光暂现源分类的竞争力表现？
• RQ2 所提出的时序Transformer在代表LSST规模巡天的极端类别不平衡天文数据集上表现如何？
• RQ3 注意力机制在多大程度上能够突出显示相关特征和光变曲线，从而实现天文物体分类中的模型可解释性？
• RQ4 在缺乏领域特定特征工程的情况下，引入辅助特征（如红移）是否能提升分类性能？
• RQ5 该模型是否能泛化到天文巡天中常见的非代表性训练数据分布？

主要发现

• t2模型在类别不平衡的PLAsTiCC数据集上实现了0.507的对数损失，在相似条件下优于以往方法。
• 模型在所有类别上均实现了0.98的微平均AUC和0.87的微平均PR-AUC，表明其具有强大的判别性能。
• 模型对类别不平衡表现出鲁棒性，避免了对最常见类别（如Ia型超新星）的偏向。
• 类别激活图成功突出了相关光变曲线和特征，为模型决策提供了可解释的洞察。
• 该架构参数量更少，训练速度更快，优于许多竞争性深度学习模型，支持低延迟推理。
• 该模型兼容未来的数据增强技术，未来可通过引入因果掩码实现早期分类。