[论文解读] Deep Learning based Systems for Crater Detection: A Review

Atal Tewari, Kumar Prateek+2 more|arXiv (Cornell University)|Sep 28, 2023

Astro and Planetary Science被引用 6

一句话总结

本文综述了基于深度学习的撞击坑检测算法（CDAs），将其分类为语义分割、目标检测和分类方法。评估了140余项研究，在统一的月球数据集上重新实现语义分割模型，并识别出可复现性、评估指标和数据集偏差方面的关键挑战，为未来研究提出建议。

ABSTRACT

Craters are one of the most prominent features on planetary surfaces, used in applications such as age estimation, hazard detection, and spacecraft navigation. Crater detection is a challenging problem due to various aspects, including complex crater characteristics such as varying sizes and shapes, data resolution, and planetary data types. Similar to other computer vision tasks, deep learning-based approaches have significantly impacted research on crater detection in recent years. This survey aims to assist researchers in this field by examining the development of deep learning-based crater detection algorithms (CDAs). The review includes over 140 research works covering diverse crater detection approaches, including planetary data, craters database, and evaluation metrics. To be specific, we discuss the challenges in crater detection due to the complex properties of the craters and survey the DL-based CDAs by categorizing them into three parts: (a) semantic segmentation-based, (b) object detection-based, and (c) classification-based. Additionally, we have conducted training and testing of all the semantic segmentation-based CDAs on a common dataset to evaluate the effectiveness of each architecture for crater detection and its potential applications. Finally, we have provided recommendations for potential future works.

研究动机与目标

• 提供对跨多种行星数据类型的基于深度学习的撞击坑检测算法（CDAs）的全面综述。
• 根据其底层计算机视觉任务（语义分割、目标检测和分类）对CDAs进行分类与分析。
• 使用标准化基准数据集评估基于语义分割的CDAs性能，以实现公平比较。
• 识别撞击坑检测中的关键挑战，包括数据集偏差、评估指标局限性和可复现性差的问题。
• 为基于深度学习的撞击坑检测未来研究提供可操作的建议，强调标准化与透明度。

提出的方法

• 将140余项基于深度学习的撞击坑检测研究归类为三种主要方法：语义分割、目标检测和分类。
• 在统一的、自建的基准数据集上重新实现并评估所有基于语义分割的CDAs，确保图像分辨率和撞击坑尺寸范围一致（5–20 km）。
• 在模型间标准化训练与测试协议，包括图像尺寸（512×512像素）、训练区域、图像与撞击坑数量，以及后处理参数。
• 使用标准评估指标（如精确率、召回率和F1分数），同时指出依赖单一指标可能因数据集目录偏差而产生误导。
• 强调公开代码、数据以及详细超参数报告（学习率、优化器、批量大小、训练轮数）对确保可复现性的重要性。
• 提出一种公平比较框架，通过在不同架构间强制统一数据输入、模型输入和评估条件来实现。

实验结果

研究问题

• RQ1 当在相同条件下评估时，基于语义分割、目标检测和分类的深度学习撞击坑检测架构在性能上如何比较？
• RQ2 在使用有偏或不完整的真值目录时，评估撞击坑检测算法面临哪些关键挑战？
• RQ3 数据预处理不一致、图像分辨率差异或训练区域不同在多大程度上影响撞击坑检测研究中报告结果的可比性？
• RQ4 为何可复现性是当前撞击坑检测研究中的主要问题？需要哪些具体信息才能确保可复现性？
• RQ5 哪些是撞击坑检测最有效的评估指标？在何种情况下，单一指标（如F1分数）可能具有误导性？

主要发现

• 在统一数据集上评估时，基于语义分割的CDAs表现出显著的性能差异，凸显了标准化基准的重要性。
• 使用不一致的数据集、图像尺寸和训练区域会导致模型间比较产生误导，即使架构改进微小。
• 如Head et al. [15] 和Robbins et al. [14] 等目录因存在缺失或退化的撞击坑而引入偏差，可能导致即使高性能模型也出现低精确率和F1分数。
• 由于超参数报告不全、模型架构细节缺失，以及缺乏公开代码和数据，可复现性受到严重阻碍。
• 本研究证明，要实现撞击坑检测中深度学习模型的公平比较，必须使用具有统一训练、验证和测试划分的一致性数据集。
• 未来工作应优先考虑公开数据与代码共享、标准化评估协议，以及多指标评估，以反映真实世界应用需求。