[论文解读] Domain adaptation techniques for improved cross-domain study of galaxy mergers

Aleksandra Ćiprijanović, Diana Kafkes+6 more|arXiv (Cornell University)|Nov 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 22被引用 5

一句话总结

本文提出使用领域自适应技术——最大均值差异（MMD）和领域对抗性神经网络（DANN）——来提升在模拟数据上训练的星系并合分类器在真实观测数据上的性能。通过最小化由于观测噪声引起的领域偏移，两种方法均将目标领域准确率从约57%（基线）显著提升至约78%–79%，表明在天文学中跨领域深度学习具有强大潜力。

ABSTRACT

In astronomy, neural networks are often trained on simulated data with the prospect of being applied to real observations. Unfortunately, simply training a deep neural network on images from one domain does not guarantee satisfactory performance on new images from a different domain. The ability to share cross-domain knowledge is the main advantage of modern deep domain adaptation techniques. Here we demonstrate the use of two techniques - Maximum Mean Discrepancy (MMD) and adversarial training with Domain Adversarial Neural Networks (DANN) - for the classification of distant galaxy mergers from the Illustris-1 simulation, where the two domains presented differ only due to inclusion of observational noise. We show how the addition of either MMD or adversarial training greatly improves the performance of the classifier on the target domain when compared to conventional machine learning algorithms, thereby demonstrating great promise for their use in astronomy.

研究动机与目标

• 为解决在真实观测数据上应用基于模拟数据训练的星系并合分类器时因领域偏移导致的性能下降问题。
• 评估领域自适应技术——MMD与DANN——在弥合模拟（源）领域与含噪声、类真实（目标）星图之间差距方面的有效性。
• 检验这些技术是否能在仅因引入观测噪声而导致领域差异的情况下，提升目标领域上的分类性能。
• 比较在跨领域星系并合分类任务中，采用领域自适应时，两种神经网络架构——DeepMerge与ResNet18——的性能表现。

提出的方法

• 模型通过组合分类器损失（交叉熵）与迁移损失的总损失进行训练，损失权重由超参数λ_TL控制。
• 对于MMD，该方法通过对齐特征表示在再生核希尔伯特空间（RKHS）中的均值，最小化源域与目标域之间的分布差异。
• 对于DANN，领域判别器被对抗性地训练以判断特征源自源域还是目标域，而特征编码器则被训练以欺骗判别器，从而鼓励学习领域不变的表示。
• 源域由红移z=2的无噪声Illustris-1模拟星系图像组成，而目标域则包含在相同图像上添加哈勃类散粒噪声后的图像。
• 该方法在两种网络上进行评估：轻量级的DeepMerge与更深的ResNet18，以评估架构依赖性。
• 进行了超参数调优，结果以10次随机种子的平均值±标准差形式报告，以确保结果稳健。

实验结果

研究问题

• RQ1 像MMD与DANN这样的领域自适应技术能否有效减少将基于模拟星系图像训练的分类器应用于真实观测数据时的性能下降？
• RQ2 当领域偏移仅由引入观测噪声引起时，MMD与DANN在提升目标领域分类准确率方面表现如何比较？
• RQ3 领域自适应带来的性能提升是否依赖于神经网络架构的选择，例如DeepMerge与ResNet18？
• RQ4 领域自适应技术对超参数选择的敏感程度如何？是否能在不同随机种子下实现稳定性能？

主要发现

• 未使用领域自适应时，分类器在目标领域的准确率为57.0% ± 5.2%，仅略高于随机猜测。
• 采用MMD后，目标领域准确率提升至77.3% ± 0.6%，显著优于基线。
• 采用对抗性训练（DANN）后，目标领域准确率达到78.9% ± 0.5%，在本设置中优于基线与MMD。
• 所有方法在源领域的准确率均保持较高水平——无自适应时为83.6%，使用MMD时为86.6%，使用DANN时为86.5%，表明在训练领域未出现性能退化。
• 性能对随机种子选择具有鲁棒性，10次运行结果的标准差较低，表明学习动态稳定。
• 结果表明，领域自适应技术能有效缓解因观测噪声引起的领域偏移导致的天体图像分类性能下降。