[论文解读] Active Learning for Automated Visual Inspection of Manufactured Products

Elena Trajkova, Jože M. Rožanec+3 more|arXiv (Cornell University)|Sep 6, 2021

Machine Learning and Algorithms参考文献 10被引用 4

一句话总结

本文提出了一种用于制造中自动化视觉检测的主动学习框架，对比了基于池的、基于流的以及基于委员会查询的策略，在五种机器学习模型上对真实世界的剃须刀缺陷图像进行评估。MLP 模型在 AUC-ROC 上表现最佳（0.9840），且基于委员会查询的主动学习方法优于其他主动学习方法，在不降低性能的前提下减少了标注工作量。

ABSTRACT

Quality control is a key activity performed by manufacturing enterprises to ensure products meet quality standards and avoid potential damage to the brand's reputation. The decreased cost of sensors and connectivity enabled an increasing digitalization of manufacturing. In addition, artificial intelligence enables higher degrees of automation, reducing overall costs and time required for defect inspection. In this research, we compare three active learning approaches and five machine learning algorithms applied to visual defect inspection with real-world data provided by Philips Consumer Lifestyle BV. Our results show that active learning reduces the data labeling effort without detriment to the models' performance.

研究动机与目标

• 评估主动学习策略在减少工业视觉缺陷检测标注工作量方面的效果。
• 比较五种机器学习模型（高斯朴素贝叶斯、CART、线性SVM、MLP 和 kNN）在真实世界多类别缺陷分类任务中的表现。
• 评估主动学习是否能在较少标注样本的情况下提升模型性能，特别是在类别不平衡的工业数据集中。
• 确定在主动学习周期中，性能提升是否在时间上具有统计显著性。
• 确定在制造自动化视觉检测中，最有效的主动学习策略与机器学习模型组合。

提出的方法

• 应用了三种主动学习策略：基于池的采样、基于流的采样（采用不确定性采样）以及基于委员会查询。
• 在包含 1,000 张剃须刀图像的真实数据集上训练了五种机器学习模型：高斯朴素贝叶斯、CART、线性SVM、MLP 和 k-最近邻，图像包含三种缺陷类别：正常、双重打印和打印中断。
• 使用 10 折交叉验证评估模型性能，以预测得分的 0.5 阈值计算 AUC-ROC。
• 在基于池和基于流的设置中，使用基于不确定性的获取函数选择最具信息量的样本；在基于委员会查询中，使用委员会成员之间的意见分歧作为选择标准。
• 应用 Wilcoxon 符号秩检验评估不同主动学习场景之间以及随时间推移的模型性能差异的统计显著性。
• 通过比较测试折的前四分位与后四分位之间的模型性能提升，评估主动学习周期中的学习进展。

实验结果

研究问题

• RQ1 在最小化标注工作量的前提下，哪种主动学习策略——基于池的、基于流的，还是基于委员会查询的——能实现最高的缺陷检测性能？
• RQ2 在真实工业缺陷检测场景中，不同机器学习模型（朴素贝叶斯、CART、SVM、MLP、kNN）在三种主动学习策略下的表现如何？
• RQ3 在主动学习周期中，模型性能是否随时间显著提升，特别是在标注过程的早期与后期阶段之间？
• RQ4 基于委员会查询的策略是否在不同模型和数据划分下始终优于其他主动学习方法？
• RQ5 主动学习是否能在类别不平衡的真实制造数据集中有效降低标注成本，同时保持高 AUC-ROC 性能？

主要发现

• MLP 模型在所有主动学习场景中均取得最高 AUC-ROC（0.9840），在大多数交叉验证折中优于所有其他模型。
• 基于委员会查询的主动学习方法表现第二高，AUC-ROC 值始终高于 0.97，且在除 MLP 外的所有模型中均表现出统计显著的性能提升。
• 基于池的与基于流的主动学习策略之间未发现显著性能差异，大多数比较的 p 值 > 0.05。
• SVM 模型总体排名第三，AUC-ROC 值约为 0.972，且在不同主动学习策略之间无显著差异（p > 0.05）。
• CART 模型表现最差，AUC-ROC 值低于 0.78，且在任何主动学习场景中均未表现出随时间推移的显著性能提升。
• 在任何主动学习策略中，均未观察到测试折的前四分位与后四分位之间存在统计显著的性能提升，表明在标注周期中学习进展有限。