[論文レビュー] Loss factorization, weakly supervised learning and label noise robustness

Giorgio Patrini, Frank Nielsen+2 more|arXiv (Cornell University)|Feb 8, 2016

Machine Learning and Data Classification参考文献 32被引用数 42

ひとこと要約

本稿では、多くの一般的な損失関数がラベル依存項（平均演算子）とラベルフリー項に分解可能であることを証明することで、弱教師あり学習の包括的枠組みを提示する。主な貢献は、単純な入力変換と平均演算子の挿入により、SGDなどの標準最適化アルゴリズムを弱教師あり学習に適応させる構成的技法を提供し、一般化性能とノイズ耐性に関する理論的保証を有する。

ABSTRACT

We prove that the empirical risk of most well-known loss functions factors into a linear term aggregating all labels with a term that is label free, and can further be expressed by sums of the loss. This holds true even for non-smooth, non-convex losses and in any RKHS. The first term is a (kernel) mean operator --the focal quantity of this work-- which we characterize as the sufficient statistic for the labels. The result tightens known generalization bounds and sheds new light on their interpretation. Factorization has a direct application on weakly supervised learning. In particular, we demonstrate that algorithms like SGD and proximal methods can be adapted with minimal effort to handle weak supervision, once the mean operator has been estimated. We apply this idea to learning with asymmetric noisy labels, connecting and extending prior work. Furthermore, we show that most losses enjoy a data-dependent (by the mean operator) form of noise robustness, in contrast with known negative results.

研究の動機と目的

• 実世界の応用で一般的な部分的にラベル付けされた、ノイズのある、または集約されたデータを用いた機械学習モデルの学習という課題に対処すること。
• ラベルノイズ、正例-負例学習、ラベル割合からの学習といった多様な弱教師あり学習設定を、一つの理論的枠組みで統一すること。
• 損失関数やアルゴリズムを再設計することなく、既存の最適化アルゴリズム（例：SGD、近接勾配法）を弱教師あり学習に一般化する原理的かつ汎用的な手法を提供すること。
• 非対称ラベルノイズが存在する状況において、損失関数の選択に依存しない一般化性能とノイズ耐性に関する理論的保証を確立すること。

提案手法

• 線形奇損失（LOLs）を定義する。これは $ l(x) - l(-x) $ が線形であるような損失のクラスであり、ロジスティック損失、二乗損失、ヒンジ損失など広く用いられる損失を含む。
• 任意のLOLの経験的リスクが、ラベルフリー項とラベルの平均演算子に線形に依存する項に分解可能であることを示す因数分解定理を証明する。
• 弱教師ありデータから平均演算子を二重サンプリングのテクニックを用いて推定し、標準的な学習アルゴリズムへの即時適用を可能にする。
• 入力データを変更し、更新ステップに推定された平均演算子を追加することで、確率的勾配降下法（SGD）を弱教師あり学習に適応する。
• 非対称ラベルノイズに対して、平均演算子の不偏推定量を構築し、損失関数に依存しない一般化境界を保証する。
• データに依存する一般化境界を導出し、既知の結果を改善し、データに依存する条件下で最強の形の耐性に近づく近似のノイズ耐性を示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な教師あり学習アルゴリズムを、理論的保証を伴って弱教師あり学習設定に適応できるか？
• RQ2 任意のRKHS内での非滑らか・非凸損失に対しても、平均演算子とラベルフリー項への損失因数分解が成立するか？
• RQ3 平均演算子が弱教師あり学習におけるラベルの十分統計量として機能し得るか？これにより二段階の学習手順（弱いデータから平均演算子を推定し、その後既知のERMアルゴリズムを適用）が可能になるか？
• RQ4 一般的な損失関数に対して、普遍的耐性に関する先行研究の否定的結果を避ける一般的なノイズ耐性形式は存在するか？
• RQ5 ラベルノイズが存在する状況で、一般化境界を改善し、損失関数の選択に依存しない形にできるか？

主な発見

• 任意の線形奇損失の経験的リスクは、ラベルの平均演算子に依存する項とラベルフリー項に分解可能であり、指数型分布族に限定されない一般化として、フィッシャー＝ネイマン因数分解を拡張する。
• 平均演算子はラベルの十分統計量として機能し、二段階の学習手順（弱いデータから平均演算子を推定し、その後任意のERMアルゴリズムを適用）を可能にする。
• SGDに単純な修正を加えることで（二重サンプリングのテクニックを用い、推定された平均演算子を更新ステップに挿入）弱教師あり学習における一般化性能とノイズ耐性を理論的に保証できる。
• 提案手法は、データに依存するノイズ耐性を達成し、普遍的ノイズ仮定下で先行研究が示した不可能性結果を回避する。
• 非対称ラベルノイズ状況下で不偏平均演算子推定量を用いることで、一般化境界が改善され、損失関数の選択に依存しなくなる。
• この枠組みは、正例-負例学習、ラベル割合からの学習、ノイズのあるラベル学習に関する先行研究を統一・拡張し、単一の理論的基盤を提供する。