[论文解读] ConvDTW-ACS: Audio Segmentation for Track Type Detection During Car Manufacturing

Álvaro López-Chilet, Zhaoyi Liu+8 more|arXiv (Cornell University)|Jan 1, 2024

Infrastructure Maintenance and Monitoring被引用 1

一句话总结

本文提出了一种名为 ConvDTW-ACS 的深度学习方法，该方法结合了卷积神经网络（CNN）对音频频谱图片段进行分类，以及受约束的动态时间规整（DTW）算法，以精确分割车辆测试音频中的轨道表面类型。在福特公司巴塞罗那工厂的真实数据上进行评估，其平均边界检测误差为 166 毫秒，从而提升了汽车制造中基于人工智能的质量检测能力。

ABSTRACT

This paper proposes a method for Acoustic Constrained Segmentation (ACS) in audio recordings of vehicles driven through a production test track, delimiting the boundaries of surface types in the track. ACS is a variant of classical acoustic segmentation where the sequence of labels is known, contiguous and invariable, which is especially useful in this work as the test track has a standard configuration of surface types. The proposed ConvDTW-ACS method utilizes a Convolutional Neural Network for classifying overlapping image chunks extracted from the full audio spectrogram. Then, our custom Dynamic Time Warping algorithm aligns the sequence of predicted probabilities to the sequence of surface types in the track, from which timestamps of the surface type boundaries can be extracted. The method was evaluated on a real-world dataset collected from the Ford Manufacturing Plant in Valencia (Spain), achieving a mean error of 166 milliseconds when delimiting, within the audio, the boundaries of the surfaces in the track. The results demonstrate the effectiveness of the proposed method in accurately segmenting different surface types, which could enable the development of more specialized AI systems to improve the quality inspection process.

研究动机与目标

• 开发一种精确的音频分割方法，用于识别汽车制造过程中车辆测试轨道运行期间的表面类型转换。
• 解决在嘈杂的真实汽车测试音频记录中实现精确边界检测的挑战。
• 利用标准化测试轨道中已知的固定表面类型序列，以提高分割精度。
• 在福特公司巴塞罗那工厂的真实生产数据上评估该方法，确保其工业相关性。
• 分析模型性能、推理速度与计算成本之间的超参数权衡。

提出的方法

• 从车辆测试轨道录音中提取完整的音频频谱图。
• 将频谱图划分为重叠的时间片段，作为 CNN 的输入。
• 训练 CNN，使其将每个片段分类为测试轨道中已知的表面类型之一。
• 应用一种自定义的受约束动态时间规整（ACS-DTW）算法，将预测的类别概率与已知的固定表面类型序列对齐。
• 利用对齐后的概率提取表面转换边界的精确时间戳。
• 通过迁移学习（使用 ImageNet 预训练的 ResNet-18）、数据增强（MixUp）以及频谱图预处理（梅尔频谱图）来优化模型性能。

实验结果

研究问题

• RQ1 基于 CNN 的方法结合受约束的序列对齐，是否能在真实世界汽车测试音频中实现亚秒级的边界检测精度？
• RQ2 在有限的真实生产数据上，使用预训练权重与从零开始训练相比，对分割性能有何影响？
• RQ3 不同频谱图表示方法（梅尔、基础、MFCC）对分类和分割精度有何影响？
• RQ4 尽管原始片段 F1 分数下降，MixUp 数据增强在提升概率校准和最终分割精度方面有多有效？
• RQ5 在工业音频分割中，模型复杂度、推理速度与分割精度之间存在何种权衡？

主要发现

• 所提出的 ConvDTW-ACS 方法在福特公司巴塞罗那制造工厂的真实数据上实现了 166 毫秒的平均边界检测误差。
• 使用 ImageNet 预训练的 ResNet-18 权重使片段分类准确率提高了 2 个百分点（从 90% 提升至 92%），相比从零开始训练。
• 梅尔频谱图优于 MFCC，后者仅实现 56% 的片段准确率，且平均误差高达 1.945 秒，因此不适合本任务。
• 尽管原始片段 F1 分数下降 3%，MixUp 数据增强仍使平均误差降低至 166ms，表明其在 DTW 对齐中具有更好的概率校准能力。
• 波形级数据增强降低了性能，表明其不适用于此特定音频分割任务。
• 梅尔频谱图、预训练 CNN 和 MixUp 数据增强的组合在计算开销极低的情况下实现了最佳整体分割性能。