[论文解读] A Validation and Quality Assessment Method with Metamorphic Relations for Unsupervised Machine Learning Software.

Zhiyi Zhang, Xiaoyuan Xie+3 more|arXiv (Cornell University)|Jul 27, 2018

Data Stream Mining Techniques被引用 1

一句话总结

本文提出了 METTLE，一种利用用户定义的元关系（MR）来评估终端用户期望的元测试方法，用于验证无监督机器学习系统。该方法使终端用户能够基于特定应用需求评估、验证和选择聚类系统，通过六种真实世界聚类工具的实证验证，展示了其在用户驱动的充分性标准下的有效性。

ABSTRACT

Unsupervised machine learning is the training of an artificial intelligence system using information that is neither classified nor labeled, with a view to modeling the underlying structure or distribution in a dataset. Since unsupervised machine learning systems are widely used in many real-world applications, assessing the appropriateness of these systems and validating their implementations with respect to individual users' requirements and specific application scenarios$\,/\,$contexts are indisputably two important tasks. Such assessment and validation tasks, however, are fairly challenging due to the absence of a priori knowledge of the data. In view of this challenge, we develop a $ extbf{MET}$amorphic $ extbf{T}$esting approach to assessing and validating unsupervised machine $ extbf{LE}$arning systems, abbreviated as METTLE. Our approach provides a new way to unveil the (possibly latent) characteristics of various machine learning systems, by explicitly considering the specific expectations and requirements of these systems from individual users' perspectives. To support METTLE, we have further formulated 11 generic metamorphic relations (MRs), covering users' generally expected characteristics that should be possessed by machine learning systems. To demonstrate the viability and effectiveness of METTLE we have performed an experiment involving six commonly used clustering systems. Our experiment has shown that, guided by user-defined MR-based adequacy criteria, end users are able to assess, validate, and select appropriate clustering systems in accordance with their own specific needs. Our investigation has also yielded insightful understanding and interpretation of the behavior of the machine learning systems from an end-user software engineering's perspective, rather than a designer's or implementor's perspective, who normally adopts a theoretical approach.

研究动机与目标

• 为解决由于缺乏标注数据和先验知识而导致的无监督机器学习系统验证挑战。
• 弥合理论系统行为与现实应用中实际用户期望之间的差距。
• 开发一种使终端用户能够基于其特定需求评估和选择聚类系统的方法。
• 制定反映终端用户视角下常见系统特性的通用元关系。
• 提供一种实用的、以用户为中心的验证框架，支持软件工程背景下的决策制定。

提出的方法

• METTLE 框架采用 11 个通用元关系（MR），编码基于用户需求的无监督学习系统预期行为属性。
• 每个 MR 定义一种变换规则，将输入数据的变化与可预测的输出变化关联起来，从而在无需真实标签的情况下进行一致性检查。
• 通过在变换后的输入下评估系统输出，检测可能表明实现缺陷或与用户期望不一致的不一致现象。
• 使用基于用户定义 MR 的充分性标准来指导测试，确保与特定应用场景的相关性。
• 该方法将验证重点从理论正确性转向终端用户视角下的实际可用性。
• 该框架通过六种广泛使用的聚类算法进行评估，应用 MR 来评估行为一致性和适用性。

实验结果

研究问题

• RQ1 元关系能否在真实世界场景中有效捕捉无监督机器学习系统对用户期望的体现？
• RQ2 终端用户如何在无标注数据的情况下，基于其特定的应用需求验证和选择聚类系统？
• RQ3 METTLE 在多大程度上能够检测出聚类系统行为中偏离用户定义期望的不一致性？
• RQ4 METTLE 框架如何支持无监督学习系统在软件工程中的实际决策制定？
• RQ5 从终端用户视角而非理论视角评估系统行为，能获得哪些关于系统行为的洞察？

主要发现

• METTLE 框架成功使终端用户能够使用用户定义的元关系评估和验证聚类系统，使系统行为与特定应用需求保持一致。
• 11 个通用 MR 有效捕捉了常见的系统特性，例如在数据扰动下的稳定性以及聚类结构的一致性。
• 在基于 MR 的充分性标准引导下，用户即使在缺乏标注数据的情况下，也能识别并选择最符合其需求的聚类系统。
• 该方法揭示了聚类算法之间在行为上存在的潜在差异，这些差异在传统理论分析中并不明显。
• 本研究从终端用户软件工程视角提供了关于系统行为的新见解，突出了实际权衡与局限性。
• 实验表明，METTLE 在六种广泛使用的聚类系统中，具备在真实世界验证任务中的可行性和有效性。