[论文解读] Metric-Guided Prototype Learning.

Vivien Sainte Fare Garnot, Loïc Landrieu|arXiv (Cornell University)|Jul 6, 2020

Machine Learning and Data Classification参考文献 19被引用 5

一句话总结

本文提出了一种名为基于度量引导原型学习的新分类层，该方法将代价矩阵（经转换为度量）整合到类别原型和特征表示的学习过程中。通过在所诱导的度量下联合优化特征和原型，该方法提升了预测准确率与泛化能力，尤其当度量揭示了数据的潜在结构时，其有效性已在农业时间序列、深度图像分割及其他任务中得到验证。

ABSTRACT

Not all errors are created equal. This is especially true for many key machine learning applications. In the case of classification tasks, the hierarchy of errors can be summarized under the form of a cost matrix, which assesses the gravity of confusing each pair of classes. When certain conditions are met, this matrix defines a metric, which we use in a new and versatile classification layer to model the disparity of errors. Our method relies on conjointly learning a feature-extracting network and a set of class representations, or prototypes, which incorporate the error metric into their relative arrangement. Our approach allows for consistent improvement of the network's prediction with regard to the cost matrix. Furthermore, when the induced metric contains insight on the data structure, our approach improves the overall precision. Experiments on three different tasks and public datasets -- from agricultural time series classification to depth image semantic segmentation -- validate our approach.

研究动机与目标

• 为解决机器学习中误分类错误影响不均的问题，特别是在某些错误比其他错误更昂贵的实际应用中。
• 通过使用诱导有效度量的代价矩阵来建模错误差异，从而实现类别表示的结构化学习。
• 在诱导度量下联合优化深度特征提取与类别原型，以提升预测的一致性与精确度。
• 在具有不同数据模态和错误敏感度的多样化真实世界任务中验证该方法的有效性。

提出的方法

• 该方法利用数学条件将用户定义的误分类惩罚代价矩阵转换为度量空间，以确保度量的有效性。
• 提出一种新型分类层，可在尊重所诱导度量几何约束的前提下学习类别原型（代表性嵌入）。
• 通过端到端反向传播联合训练特征提取器与原型表示，度量引导原型之间的相对位置。
• 度量引导优化过程，使得高成本的误分类受到更大惩罚，从而形成更鲁棒的决策边界。
• 该方法与标准深度学习架构兼容，可应用于图像分割和时间序列分类等多种任务。

实验结果

研究问题

• RQ1 能否将误分类惩罚的代价矩阵转化为反映错误严重程度真实结构的有效度量？
• RQ2 将学习到的度量整合到原型学习中，如何在非对称错误成本下提升预测性能？
• RQ3 当诱导度量捕捉到数据内在结构时，其在多大程度上提升了模型的泛化能力？
• RQ4 该方法是否在具有不同数据模态的多样化机器学习任务中持续提升性能？

主要发现

• 与代价矩阵相比，该方法在预测性能上实现了稳定提升，减少了高成本错误，同时未降低整体准确率。
• 当诱导度量反映数据的潜在结构时，模型展现出更高的整体精确度，表明泛化能力得到改善。
• 该方法在多样化任务中具有良好的泛化能力，已在农业时间序列分类、深度图像语义分割及其他基准任务中验证了其有效性。
• 特征与度量引导原型的联合优化，带来了更鲁棒且具备错误意识的决策边界。