[论文解读] Label Encoding for Regression Networks

Deval Shah, Zi Yu Xue+1 more|arXiv (Cornell University)|Dec 4, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出了一种名为二进制编码标签（BEL）的新框架，将回归任务重新表述为多比特二值分类，以提升精度。通过将实值目标量化为二进制码，并训练 M 个二值分类器，BEL 在多种回归任务中实现了最先进性能——在头部姿态估计、面部关键点检测、年龄估计和端到端自动驾驶任务中，均优于直接回归和专用方法，同时保持与现成特征提取器及端到端训练的兼容性。

ABSTRACT

Deep neural networks are used for a wide range of regression problems. However, there exists a significant gap in accuracy between specialized approaches and generic direct regression in which a network is trained by minimizing the squared or absolute error of output labels. Prior work has shown that solving a regression problem with a set of binary classifiers can improve accuracy by utilizing well-studied binary classification algorithms. We introduce binary-encoded labels (BEL), which generalizes the application of binary classification to regression by providing a framework for considering arbitrary multi-bit values when encoding target values. We identify desirable properties of suitable encoding and decoding functions used for the conversion between real-valued and binary-encoded labels based on theoretical and empirical study. These properties highlight a tradeoff between classification error probability and error-correction capabilities of label encodings. BEL can be combined with off-the-shelf task-specific feature extractors and trained end-to-end. We propose a series of sample encoding, decoding, and training loss functions for BEL and demonstrate they result in lower error than direct regression and specialized approaches while being suitable for a diverse set of regression problems, network architectures, and evaluation metrics. BEL achieves state-of-the-art accuracies for several regression benchmarks. Code is available at https://github.com/ubc-aamodt-group/BEL_regression.

研究动机与目标

• 解决深度学习中通用直接回归模型与专用回归模型之间显著的精度差距。
• 开发一种通用框架，将二值分类推广至回归任务，实现在多样化任务中的精度提升。
• 识别并形式化编码与解码函数的期望属性，以在标签表示中平衡误差概率与纠错能力。
• 在利用现成特征提取器的同时实现端到端训练，并通过利用二值分类器之间的相关性来减少模型参数量。
• 在多个回归基准上展示卓越性能，包括年龄估计、面部关键点检测和自动驾驶。

提出的方法

• 提出一种二进制编码标签（BEL）框架，将连续目标值量化为 M 位二进制码，用于训练 M 个二值分类器。
• 引入编码函数将实值标签映射为二进制码，解码函数则从分类器输出重建实值预测结果。
• 设计一种基于相关性的解码函数，以最小化量化误差并提升回归精度。
• 使用二值交叉熵、交叉熵或 L1/L2 损失对二值输出进行建模，实现端到端优化。
• 利用二值分类器输出之间的类间相关性，降低回归器的参数量并提升效率。
• 将 BEL 与特定任务的特征提取器（如 ResNet、VGG、PilotNet）结合，并使用标准深度学习流程进行端到端训练。

实验结果

研究问题

• RQ1 如何将二值分类推广至回归任务，以超越专用的序数或多分类方法，实现更高的精度？
• RQ2 编码与解码函数的哪些属性最有效，能在最小化回归误差的同时平衡误差概率与纠错能力？
• RQ3 在不牺牲精度的前提下，多大程度上可以利用多个二值分类器输出之间的相关性来降低模型复杂度？
• RQ4 在多种回归基准上，BEL 与直接回归和专用模型在 MAE 和覆盖率得分方面的表现如何比较？
• RQ5 不同损失函数（二值交叉熵、交叉熵、L1/L2）对 BEL 在不同架构和数据集上的性能有何影响？

主要发现

• 在 MORPH-II 数据集上，BEL 实现了最先进性能，将 MAE 降低至 2.27 ± 0.01，优于使用 ResNet50 的直接回归方法（2.44 ± 0.01）。
• 在 AFAD 数据集上，BEL 达到 3.11 ± 0.01 的 MAE，优于直接回归（3.21 ± 0.02）以及专用模型 OR-CNN 和 CORAL-CNN。
• 在端到端自动驾驶任务中，BEL 使用 PilotNet 架构将 MAE 降低至 3.11 ± 0.01，而基线方法为 4.24 ± 0.45。
• 所提出的基于期望相关性的解码函数有效降低了量化误差，并在所有任务中提升了预测精度。
• BEL 在多种架构（ResNet、VGG、PilotNet）和评估指标（MAE、覆盖率得分）上均表现出一致的性能提升，显示出广泛的适用性。
• 该框架通过利用二值分类器输出之间的相关性实现参数压缩，使其适用于实时应用。