[论文解读] Generalized Huber Loss for Robust Learning and its Efficient Minimization for a Robust Statistics

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|Aug 28, 2021

Statistical Methods and Inference参考文献 24被引用 33

一句话总结

本论文通过对数指数变换推广 Huber 损失，融合绝对损失的鲁棒性与二次损失的快速收敛，并提供一个有效的最小化算法。

ABSTRACT

We propose a generalized formulation of the Huber loss. We show that with a suitable function of choice, specifically the log-exp transform; we can achieve a loss function which combines the desirable properties of both the absolute and the quadratic loss. We provide an algorithm to find the minimizer of such loss functions and show that finding a centralizing metric is not that much harder than the traditional mean and median.

研究动机与目标

• 通过将鲁棒性与快速收敛相结合来推动鲁棒学习。
• 提出一种通过对数-指数变换统一各种损失形式的广义Huber损失。
• 建立广义损失的数学性质，包括平滑性和渐近行为。
• 开发高效的算法来最小化广义损失并分析集中化度量。
• 讨论高维、多变量情形下的实际考虑与扩展。

提出的方法

• 使用单调辅助函数f及其逆函数g来创建类似绝对值的平滑损失，从而定义广义损失框架。
• 通过对数-指数变换实例化一个特定的光滑、严格凸的损失L_M(x)：L_M(x)= (1/a) log(e^{ax}+e^{-ax}+b)。
• 证明对数-指数损失的凸性性质及其渐近行为（在无穷大时 L_M -> |x|；在接近0时 L_M -> 二次形式）。
• 推导L_M的一阶和二阶导数以了解优化景观。
• 给出算法1用于在N个样本上找到最小化累计损失的集中样本对，以及算法2在复杂性分析下实现ε-最优解。
• 给出推论，详细说明收敛到绝对损失和二次损失，以及关于凸性条件（b≥0）的讨论。

实验结果

研究问题

• RQ1 损失函数如何在对离群值的鲁棒性和像二次损失那样的快速收敛性之间同时达到平衡？
• RQ2 是否可以通过对数-指数变换构造一个广义Huber式损失，在|x|与x^2之间插值？
• RQ3 所提出广义损失的凸性和平滑性属性是什么，以及如何利用它们进行高效最小化？
• RQ4 哪些算法能够在广义损失下高效计算集中化估计量，以及它们的复杂度是多少？
• RQ5 与传统损失函数（绝对值和二次）相比，广义损失的渐近行为如何？

主要发现

• 使用对数-指数变换的广义Huber损失产生一个平滑、严格凸的损失，具有鲁棒性和快速收敛性。
• 损失L_M(x)= (1/a) log(e^{ax}+e^{-ax}+b) 当 |x|→∞ 时收敛到|x|，在接近0时收敛到二次形式，从而确保鲁棒性和局部快速收敛。
• 论文证明凸性条件（b≥0）并推导导数的显式表达式，便于优化。
• 一个O(N log N)算法（算法1）在N个样本的累计损失上找到集中极小值；一个ε-最优变体（算法2）的运行时间为O(N log(D/ε))。
• 该框架包含并推广常见损失（Huber、Pseudo-Huber、log-cosh），并为超越均值/中位数的集中化度量提供灵活的方法。