[论文解读] A Novel ECOC Algorithm with Centroid Distance Based Soft Coding Scheme

Kaijie Feng, Kunhong Liu+1 more|arXiv (Cornell University)|Jun 22, 2018

Face and Expression Recognition参考文献 13被引用 5

一句话总结

本文提出CSECOC，一种基于中心距的软编码方案的新型ECOC算法，以提升多分类性能。通过用基于类别覆盖概率导出的软值替代传统的硬三元编码，并采用回归器作为基学习器，该方法在UCI数据集上实现了与更小集成规模相当甚至更优的准确率，首次在ECOC框架中引入软编码。

ABSTRACT

In ECOC framework, the ternary coding strategy is widely deployed in coding process. It relabels classes with {"-1,0,1" }, where -1/1 means to assign the corresponding classes to the negative/positive group, and label 0 leads to ignore the corresponding classes in the training process. However, the application of hard labels may lose some information about the tendency of class distributions. Instead, we propose a Centroid distance-based Soft coding scheme to indicate such tendency, named as CSECOC. In our algorithm, Sequential Forward Floating Selection (SFFS) is applied to search an optimal class assignment by minimizing the ratio of intra-group and inter-group distance. In this way, a hard coding matrix is generated initially. Then we propose a measure, named as coverage, to describe the probability of a sample in a class falling to a correct group. The coverage of a class a group replace the corresponding hard element, so as to form a soft coding matrix. Compared with the hard ones, such soft elements can reflect the tendency of a class belonging to positive or negative group. Instead of classifiers, regressors are used as base learners in this algorithm. To the best of our knowledge, it is the first time that soft coding scheme has been proposed. The results on five UCI datasets show that compared with some state-of-art ECOC algorithms, our algorithm can produce comparable or better classification accuracy with small scale ensembles.

研究动机与目标

• 为解决传统ECOC硬编码中的信息损失，捕捉类别分布趋势。
• 开发一种反映类别属于正/负组概率的软编码方案。
• 探索在ECOC中使用回归器而非分类器作为基学习器以提升性能。
• 通过顺序前向浮动选择（SFFS）最小化组内与组间距离比，实现最优类别分配。
• 在基准数据集上评估所提方法，并与最先进ECOC算法进行比较。

提出的方法

• 应用顺序前向浮动选择（SFFS）生成初始硬编码矩阵，通过最小化组内与组间距离比实现。
• 定义覆盖度度量，以估计来自某类的样本落入正确组的概率。
• 将硬编码元素{-1, 0, 1}替换为基于覆盖度度量导出的软值，形成软编码矩阵。
• 使用回归器而非分类器作为基学习器，为每个编码组预测软输出。
• 通过多数投票或加权平均策略聚合回归器预测结果，构建最终集成模型。
• 通过平衡组间分离度与类别覆盖度优化编码方案，以增强泛化能力。

实验结果

研究问题

• RQ1 基于中心距与覆盖度的软编码是否能优于硬编码提升ECOC性能？
• RQ2 在ECOC中用回归器替代分类器是否能带来更高的分类准确率？
• RQ3 基于SFFS的硬编码生成结合软编码优化是否能获得更优结果？
• RQ4 与最先进ECOC算法相比，所提方法在准确率与集成规模方面表现如何？
• RQ5 软编码方案在多大程度上保留了硬编码中丢失的类别分布趋势？

主要发现

• 所提出的CSECOC算法在五个UCI数据集上实现了与最先进ECOC方法相当或更优的分类准确率。
• 基于覆盖概率的软编码能有效捕捉硬编码中丢失的类别分布趋势。
• 使用回归器作为基学习器显著提升了性能，标志着ECOC框架中的一项新方法。
• 该方法在保持高准确率的同时实现了更小的集成规模，表明其在模型复杂度上的高效性。
• 基于SFFS的硬编码生成结合软编码优化，实现了更优的组间分离与分类性能。
• 实证结果表明，软编码通过反映各类在各组中的成员可能性，增强了泛化能力。