[论文解读] A glass-box interactive machine learning approach for solving NP-hard problems with the human-in-the-loop

Andreas Holzinger, Markus Plass+4 more|arXiv (Cornell University)|Aug 3, 2017

Data Visualization and Analytics被引用 29

一句话总结

本文提出了一种玻璃盒交互式机器学习（iML）框架，将人机协同决策引入蚁群优化（ACO）算法，以解决TSP等NP难问题。通过引入人机交互矩阵（HIM）与人机影响因子（HIF），该方法通过人类引导的启发式选择提升透明度并缩小搜索空间，在最小用户干预下显著提升了基准TSP实例的解质量。

ABSTRACT

The goal of Machine Learning to automatically learn from data, extract knowledge and to make decisions without any human intervention. Such automatic (aML) approaches show impressive success. Recent results even demonstrate intriguingly that deep learning applied for automatic classification of skin lesions is on par with the performance of dermatologists, yet outperforms the average. As human perception is inherently limited, such approaches can discover patterns, e.g. that two objects are similar, in arbitrarily high-dimensional spaces what no human is able to do. Humans can deal only with limited amounts of data, whilst big data is beneficial for aML; however, in health informatics, we are often confronted with a small number of data sets, where aML suffer of insufficient training samples and many problems are computationally hard. Here, interactive machine learning (iML) may be of help, where a human-in-the-loop contributes to reduce the complexity of NP-hard problems. A further motivation for iML is that standard black-box approaches lack transparency, hence do not foster trust and acceptance of ML among end-users. Rising legal and privacy aspects, e.g. with the new European General Data Protection Regulations, make black-box approaches difficult to use, because they often are not able to explain why a decision has been made. In this paper, we present some experiments to demonstrate the effectiveness of the human-in-the-loop approach, particularly in opening the black-box to a glass-box and thus enabling a human directly to interact with an learning algorithm. We selected the Ant Colony Optimization framework, and applied it on the Traveling Salesman Problem, which is a good example, due to its relevance for health informatics, e.g. for the study of protein folding. From studies of how humans extract so much from so little data, fundamental ML-research also may benefit.

研究动机与目标

• 为解决安全关键领域（如医疗信息学）中黑箱机器学习的局限性，其中透明度与可解释性至关重要。
• 通过交互式学习整合人类专业知识，降低TSP等NP难问题的计算复杂度。
• 通过使决策过程透明且可解释，提升对机器学习系统的信任与接受度。
• 通过支持可解释决策与数据删除影响追踪，满足GDPR合规要求。
• 探索在数据稀缺场景下，人类感知与算法优化之间的协同效应。

提出的方法

• 该方法在蚁群优化（ACO）算法中扩展了人机交互矩阵（HIM），用于编码人类提供的启发式规则，以指导蚂蚁的决策。
• 引入人机影响因子（HIF）以调节人类输入对选择过程的影响，实现人类引导与信息素更新的解耦。
• 算法在基于蚂蚁的优化阶段与用户交互阶段之间交替进行，用户可暂停、选择节点，并修改HIM以引导搜索方向。
• 信息素更新仅由蚂蚁根据解的质量执行，避免人类导致的信息素泛滥。
• 系统采用JavaScript实现，支持浏览器端、平台无关的实时部署，并提供解演化过程的实时可视化。
• 通过聚类大规模实例并重用局部解，该方法支持局部搜索扩展，已在28个节点的TSP实例上得到验证。

实验结果

研究问题

• RQ1 人机协同交互能否提升ACO在TSP等NP难问题上的解质量？
• RQ2 如何有效编码并整合人类启发式规则到元启发式算法中，而不破坏算法的信息素动态？
• RQ3 该玻璃盒iML方法在医疗与数据稀缺应用场景中，能在多大程度上增强透明度与信任？
• RQ4 所提出的iML框架能否扩展至复杂现实问题，如蛋白质折叠或子空间聚类？
• RQ5 通过HIM分离人类影响与信息素更新，对收敛性与解的稳定性有何影响？

主要发现

• iML方法通过HIM与HIF组件成功提升了ACO在基准TSP实例上的性能，实现人类引导的启发式选择。
• 系统在测试实例上的解质量优于标准ACO，最优解（以红色显示）在用户参与迭代后被接近或完全匹配。
• 浏览器端实现支持解路径的实时交互式可视化，绿色连线随每次迭代更新，反映更短的旅行路径。
• 人类影响与信息素更新的分离有效防止了信息素泛滥，维持了算法稳定性。
• 该方法通过在聚类实例上启用局部搜索策略，展示了良好的可扩展性，例如将两个14城市TSP子问题的解合并为28个节点的解。
• 该框架支持GDPR合规，通过支持可解释决策与可追溯的人类输入，实现学习过程的透明化。