[论文解读] Machine Teaching by Domain Experts: Towards More Humane,Inclusive, and Intelligent Machine Learning Systems

Cláudio Pinhanez|arXiv (Cornell University)|Aug 19, 2019

Machine Learning and Data Classification参考文献 29被引用 5

一句话总结

本文提出，应通过交互式机器教学，让领域专家直接构建机器学习系统，使用高层次概念而非标注数据，从而实现更人性化、更具包容性且更智能的人工智能。本文引入了大规模开放学习人工智能（MOLA）系统概念，即由专家群体协作开发机器学习系统，相比传统依赖大量数据的深度学习方法，其在鲁棒性、多样性与可靠性方面更具优势。

ABSTRACT

This paper argues that a possible way to escape from the limitations of current machine learning (ML) systems is to allow their development directly by domain experts without the mediation of ML experts. This could be accomplished by making ML systems interactively teachable using concepts, definitions, and similar high level knowledge constructs. Pointing to the recent advances in machine teaching technology, we list key technical challenges specific for such expert-centric ML systems, and suggest that they are more humane and possibly more intelligent than traditional ML systems in many domains. We then argue that ML systems could also benefit greatly from being built by a community of experts as much as open source software did, creating more inclusive systems, in terms of enabling different points-of-view about the same corpus of knowledge. Advantages of the community approach over current ways to build ML systems, as well as specific challenges this approach raises, are also discussed in the paper.

研究动机与目标

• 解决当前深度学习系统对大规模标注数据的严重依赖及其主要由机器学习专家主导的局限性。
• 探索机器教学如何使领域专家能够直接通过概念和定义构建并教授机器学习系统，从而绕过对机器学习专业知识的需求。
• 研究基于社区的开发模式（类似于开源软件）在大规模开放学习人工智能（MOLA）系统中的潜力，以提升机器学习在包容性、韧性与智能方面的表现。
• 识别在实现社区驱动的机器学习开发过程中面临的技术与社会挑战，同时减轻偏见、共识破裂及知识劫持等风险。

提出的方法

• 提出将机器教学作为范式转变，从数据驱动训练转向基于概念的教学，使领域专家能够使用定义、规则等高层次构建来表达知识。
• 设计交互式机器学习系统，接受领域专家以概念、约束和逻辑关系形式输入的信息，而非原始标注样本。
• 提出MOLA（大规模开放学习人工智能）框架，即由一个大规模、多样化且无中介的领域专家社区协作贡献并完善一个机器学习系统。
• 利用社区动态通过共识构建、共享工具和集体调试等方式提升系统质量，类似于开源软件开发模式。
• 基于现有的机器教学与交互式学习文献，映射面向专家中心界面与系统架构的技术需求。
• 借鉴开源与协作系统（如Linux、Wikipedia、比特币）的原则，建模MOLA系统中的社区治理、版本控制与冲突解决机制。

实验结果

研究问题

• RQ1 如何通过机器教学使领域专家无需依赖机器学习专家或大规模标注数据集，直接构建机器学习系统？
• RQ2 在设计允许非机器学习专家有效教学复杂模型的交互式、基于概念的界面时，面临哪些关键技术挑战？
• RQ3 领域专家社区在提升机器学习系统的智能性、鲁棒性与包容性方面，相较于个体或小团队开发，有哪些优势？
• RQ4 基于社区的机器学习开发存在哪些风险（如偏见传播、共识失败或知识劫持），以及如何加以缓解？
• RQ5 MOLA系统如何通过集体知识、动机与工具实现高可靠性与高质量，类似于成功开源项目的发展路径？

主要发现

• 由领域专家进行的机器教学可减少数据标注负担，使非机器学习专业人员能够有意义地参与，从而构建出更具人性化与包容性的机器学习系统。
• MOLA系统受益于集体智能，能够就系统目标达成更好共识，提升对人员变动的鲁棒性，并增强群体对复杂系统行为的理解。
• 基于社区的开发模式因多元视角、共享工具与协作式数据收集，可显著提升系统质量与可靠性，其成功可类比于Linux等开源项目的实践。
• MOLA系统可通过利用概念性知识与社区驱动的数据收集，克服深度学习在数据稀缺领域中的局限，降低对大规模标注数据集的依赖。
• 尽管存在偏见传播与社区分裂等风险（如Wikipedia或Ethereum所见），MOLA系统中开放、透明与协作的结构为减轻负面社会影响提供了坚实基础。
• 从依赖大量数据的深度学习转向基于概念的教学，可能为医疗、法律与经济等复杂领域中智能系统的开发打开新可能，这些领域往往面临数据稀缺或伦理限制。