[论文解读] Advancing underwater acoustic target recognition via adaptive data pruning and smoothness-inducing regularization

Yuan Xie, Tianyu Chen+1 more|arXiv (Cornell University)|Apr 24, 2023

Underwater Acoustics ResearchEarth and Planetary Sciences被引用 3

一句话总结

本文提出了一种自适应数据剪枝与平滑性正则化框架，以解决低资源水下声学目标识别中的双下降现象和过拟合问题。通过基于交叉熵的评分剪除高度相似的船舶辐射噪声片段，并结合使用高斯白噪声生成的合成噪声样本，应用基于KL散度的正则化方法，该方法在Shipsear数据集上的准确率提升至88.79%，较SOTA方法高出3.31%，同时将训练时间最多减少65%。

ABSTRACT

Underwater acoustic recognition for ship-radiated signals has high practical application value due to the ability to recognize non-line-of-sight targets. However, due to the difficulty of data acquisition, the collected signals are scarce in quantity and mainly composed of mechanical periodic noise. According to the experiments, we observe that the repeatability of periodic signals leads to a double-descent phenomenon, which indicates a significant local bias toward repeated samples. To address this issue, we propose a strategy based on cross-entropy to prune excessively similar segments in training data. Furthermore, to compensate for the reduction of training data, we generate noisy samples and apply smoothness-inducing regularization based on KL divergence to mitigate overfitting. Experiments show that our proposed data pruning and regularization strategy can bring stable benefits and our framework significantly outperforms the state-of-the-art in low-resource scenarios.

研究动机与目标

• 解决由于周期性重复的船舶辐射噪声引起的双下降现象。
• 降低在低资源场景下因训练数据有限且高度相似而导致的模型过拟合。
• 开发一种鲁棒的训练流程，提升泛化能力，且不依赖于高保真度的数据增强。
• 通过使用简单特征和轻量化网络架构，提升模型效率与性能。

提出的方法

• 引入一种基于交叉熵的自适应剪枝层，在训练过程中动态评分并移除冗余的、高度相似的信号片段。
• 在初始训练阶段（前τ=10个周期）后添加线性剪枝层，基于模型置信度和相似性计算剪枝得分。
• 通过干净输入与噪声输入上模型预测之间的KL散度，实施平滑性诱导正则化，噪声来源于高斯白噪声。
• 利用正则化项强制决策边界平滑，同时避免在损失计算中包含噪声样本，从而减少对非代表性数据的偏差。
• 在统一的训练流程中结合剪枝与正则化，以同时缓解双下降与过拟合问题。
• 采用梅尔频谱图和带有多头注意力机制的ResNet18作为主干网络，确保与标准声学特征和轻量化模型的兼容性。

实验结果

研究问题

• RQ1 基于交叉熵的自适应数据剪枝是否能有效缓解水下声学识别中因周期性信号重复引起的双下降现象？
• RQ2 在低资源水下声学场景下，基于KL散度的平滑性诱导正则化是否优于传统数据增强方法？
• RQ3 与最先进方法相比，所提出的框架在识别准确率和训练效率方面提升程度如何？
• RQ4 应用剪枝与正则化后，模型在不同目标类别上的泛化性能如何变化？

主要发现

• 所提方法在Shipsear数据集上实现了88.79%的识别准确率，较之前SOTA（85.48%）提升3.31个百分点。
• 在DeepShip数据集上，该方法达到80.19%的准确率，展现出在中等资源设置下的强劲性能。
• 当使用人工数据增强时，数据剪枝可将训练时间最多减少65%，显著提升训练效率。
• 混淆矩阵显示，应用所提方法后，模型对先前易错类别（如渔船和帆船）的识别能力得到显著改善。
• 正则化系数α = 2时性能最优，过小或过大的α值均会降低模型准确率。
• 平滑性诱导正则化在复杂海洋环境中始终优于基于GAN的数据增强和人工增强方法，尤其当仿真结果与真实数据存在偏差时表现更优。