[论文解读] An Interactive Explanatory AI System for Industrial Quality Control

Dennis Müller, Michael März+2 more|arXiv (Cornell University)|Mar 17, 2022

Semantic Web and Ontologies被引用 5

一句话总结

本文提出了一种用于工业质量控制的交互式、人机协同AI系统，结合卷积神经网络（CNN）进行缺陷检测与归纳逻辑编程（ILP）进行可解释的、自然语言描述的推理。该系统通过整合用户反馈，迭代优化分类结果与解释，实现透明化、专家可控，并通过神经符号融合提升决策准确性。

ABSTRACT

Machine learning based image classification algorithms, such as deep neural network approaches, will be increasingly employed in critical settings such as quality control in industry, where transparency and comprehensibility of decisions are crucial. Therefore, we aim to extend the defect detection task towards an interactive human-in-the-loop approach that allows us to integrate rich background knowledge and the inference of complex relationships going beyond traditional purely data-driven approaches. We propose an approach for an interactive support system for classifications in an industrial quality control setting that combines the advantages of both (explainable) knowledge-driven and data-driven machine learning methods, in particular inductive logic programming and convolutional neural networks, with human expertise and control. The resulting system can assist domain experts with decisions, provide transparent explanations for results, and integrate feedback from users; thus reducing workload for humans while both respecting their expertise and without removing their agency or accountability.

研究动机与目标

• 解决在工业质量控制中纯数据驱动的深度学习模型缺乏透明度与可解释性的问题。
• 将人类专业知识与反馈整合到AI系统中，支持而非取代领域专家对缺陷部件的分类。
• 结合深度学习的模式识别能力与基于知识的ILP的可解释性，实现可靠且可解释的缺陷分类。
• 开发一种能根据用户反馈动态更新知识的系统，保持问责性并减少人工工作量。
• 在真实工业缺陷检测场景中，展示神经符号融合的可行性验证。

提出的方法

• 使用7,348张铸件金属部件图像及其86个手动标注的缺陷掩码，训练CNN以检测并定位缺陷。
• 将缺陷分割为连通组件（超像素），并提取几何与空间属性（如尺寸、位置）以实现符号化表示。
• 将每张图像转换为一组Prolog Horn子句，以缺陷属性作为谓词输入ILP系统（Aleph）。
• ILP系统基于重新标注的数据（缺陷或合格）进行训练，生成以逻辑规则形式表达的分类假设。
• 系统为分类结果与理由生成人类可读的自然语言解释，并与图像和掩码一同展示给用户。
• 用户可对分类结果及个别理由进行反馈——接受、拒绝或修改，从而触发基于增强数据的ILP模型增量更新。

实验结果

研究问题

• RQ1 结合深度学习与归纳逻辑编程的混合系统是否能提升工业缺陷检测中的透明度与可解释性？
• RQ2 如何有效整合人机协同反馈，以优化AI系统中的分类与理由逻辑？
• RQ3 基于ILP的自然语言解释在多大程度上可支持领域专家在质量控制中做出准确且可问责的决策？
• RQ4 系统能否通过使用虚拟示例纠正错误的推理逻辑（如‘正确结果但理由错误’），从而避免学习有缺陷的逻辑规则？
• RQ5 视觉与符号推理的融合在多大程度上提升了决策质量与用户对工业AI应用的信任？

主要发现

• 系统成功结合基于CNN的缺陷检测与ILP生成的自然语言解释，实现了工业部件分类的透明化与可解释化。
• 用户对分类结果及个别理由的反馈被有效捕获并用于更新ILP模型，支持增量学习与持续优化。
• 通过使用虚拟示例，系统能够纠正错误的推理逻辑（如‘正确结果但理由错误’），从而抑制有缺陷的逻辑规则学习。
• 通过基于Web的界面，系统保持了高可用性与交互性，可同时显示图像、掩码、分类结果与解释，并配备交互式反馈控件。
• 该方法使领域专家在减少认知负荷的同时，仍能保有决策主导权与问责性，实现AI辅助的可解释决策支持。
• 通过公开的GitLab代码仓库提供的演示系统，证实了在真实工业质量控制场景中实现神经符号融合的可行性。