[论文解读] Loss factorization, weakly supervised learning and label noise robustness

Giorgio Patrini, Frank Nielsen+2 more|arXiv (Cornell University)|Feb 8, 2016

Machine Learning and Data Classification参考文献 32被引用 42

一句话总结

本文通過證明許多常見損失函數可分解為與標籤相關的項（均值算子）與與標籤無關的項，從而提出了一個統一的弱監督學習框架，實現了在標籤噪音下的魯棒訓練。主要貢獻在於提出一種構造性方法，透過簡單的輸入變換與均值算子注入，將標準優化算法（如SGD）適應於弱監督設定，並提供可證明的泛化能力與噪音魯棒性保證。

ABSTRACT

We prove that the empirical risk of most well-known loss functions factors into a linear term aggregating all labels with a term that is label free, and can further be expressed by sums of the loss. This holds true even for non-smooth, non-convex losses and in any RKHS. The first term is a (kernel) mean operator --the focal quantity of this work-- which we characterize as the sufficient statistic for the labels. The result tightens known generalization bounds and sheds new light on their interpretation. Factorization has a direct application on weakly supervised learning. In particular, we demonstrate that algorithms like SGD and proximal methods can be adapted with minimal effort to handle weak supervision, once the mean operator has been estimated. We apply this idea to learning with asymmetric noisy labels, connecting and extending prior work. Furthermore, we show that most losses enjoy a data-dependent (by the mean operator) form of noise robustness, in contrast with known negative results.

研究动机与目标

• 解決在現實應用中常見的部 分標籤、噪音或聚合數據下訓練機器學習模型的挑戰。
• 將多種弱監督學習設定（如標籤噪音、正樣本-未標籤學習、從標籤比例學習）統一於單一理論框架之下。
• 提供一種系統性、通用的演算法適配方法，將現有優化算法（例如SGD、近端方法）應用於弱監督設定，無需重新設計損失函數或演算法。
• 在存在非對稱標籤噪音的情況下，建立泛化與噪音魯棒性的理論保證，且不依賴損失函數的選擇。

提出的方法

• 定義線性奇損失（LOLs），即滿足 $ l(x) - l(-x) $ 為線性函數的一類損失，涵蓋邏輯回歸、平方損失、合頁損失等廣泛使用的損失函數。
• 證明一個分解定理，顯示任何LOL的經驗風險可分解為與標籤無關的項與與標籤均值算子線性相關的項。
• 利用雙樣本技巧從弱標籤數據中估計均值算子，從而實現標準學習演算法的即插即用。
• 透過修改輸入資料並在模型更新步驟中加入估計的均值算子，對隨機梯度下降（SGD）進行改進。
• 構造非對稱標籤噪音下均值算子的無偏估計器，確保泛化界不依賴損失函數的選擇。
• 推導出依賴資料的泛化界，其結果優於已知結果，並在資料依賴條件下收斂至最強形式的魯棒性。

实验结果

研究问题

• RQ1 能否在理論保證下將標準監督學習演算法適配至弱監督設定？
• RQ2 在任意RKHS中，非光滑、非凸損失是否也存在損失分解為均值算子與與標籤無關項的形式？
• RQ3 均值算子能否作為弱監督學習中標籤的充分統計量，從而支持兩階段學習程序？
• RQ4 是否存在常見損失函數的通用噪音魯棒形式，可避免先前研究在普遍噪音假設下所得出的負面結論？
• RQ5 在標籤噪音存在的情況下，能否改進泛化界並使其獨立於損失函數的選擇？

主要发现

• 任何線性奇損失的經驗風險均可分解為依賴於標籤均值算子的項與與標籤無關的項，將Fisher-Neyman分解推廣至非指數族損失。
• 均值算子作為標籤的充分統計量，支持兩階段學習程序：先從弱資料中估計均值算子，再應用任何已知的ERM演算法。
• 對SGD進行簡單修改——使用雙樣本技巧並注入估計的均值算子——即可在弱監督設定下實現可證明的泛化與噪音魯棒性。
• 所提出的方法實現依賴資料的噪音魯棒性，其收斂形式趨近於最強的魯棒性，避開了先前在普遍噪音假設下所得的不可能結果。
• 當在非對稱標籤噪音設定下使用無偏均值算子估計器時，泛化界得到改進，且不依賴損失函數的選擇。
• 該框架統一並拓展了先前在正樣本-未標籤學習、從標籤比例學習與噪音標籤學習方面的研究，提供單一理論基礎。