[論文レビュー] Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations

Hao Chen, Ankit Shah+7 more|arXiv (Cornell University)|May 22, 2023

Text and Document Classification Technologies被引用数 8

ひとこと要約

この論文は partial, semi-supervised, noisy labels の不完全ラベルを統一的に学習する EMベースのフレームワークである ILL を導入し、これらの不確かなラベル設定全般で最先端の結果を達成する。

ABSTRACT

Learning with reduced labeling standards, such as noisy label, partial label, and multiple label candidates, which we generically refer to as extit{imprecise} labels, is a commonplace challenge in machine learning tasks. Previous methods tend to propose specific designs for every emerging imprecise label configuration, which is usually unsustainable when multiple configurations of imprecision coexist. In this paper, we introduce imprecise label learning (ILL), a framework for the unification of learning with various imprecise label configurations. ILL leverages expectation-maximization (EM) for modeling the imprecise label information, treating the precise labels as latent variables.Instead of approximating the correct labels for training, it considers the entire distribution of all possible labeling entailed by the imprecise information. We demonstrate that ILL can seamlessly adapt to partial label learning, semi-supervised learning, noisy label learning, and, more importantly, a mixture of these settings. Notably, ILL surpasses the existing specified techniques for handling imprecise labels, marking the first unified framework with robust and effective performance across various challenging settings. We hope our work will inspire further research on this topic, unleashing the full potential of ILL in wider scenarios where precise labels are expensive and complicated to obtain.

研究の動機と目的

• 正確なラベルを取得するのが高コストまたは困難な場合に、不確実なラベリングを統一的に扱うことで学習を動機づける。
• 真のラベルを潜在変数として、不確かな情報の尤度を最大化する EMベースのフレームワークを提案する。
• このフレームワークが部分ラベル学習、半教師あり学習、ノイズラベル学習、およびそれらの混合を包含することを示す。
• ILL が PLL、SSL、NLL の標準ベンチマークで最先端または競合的な結果を達成することを示す。

提案手法

• 不確かなラベルを伴う学習を、Y（真のラベル）は潜在変数で、I が不確かな情報を符号化する P(X,I;θ) を最大化する EM の枠組みとして定式化する。
• Eステップ：I に含まれるすべてのラベリング可能性を反映するように、事後分布 P(Y|X,I;θ^t) を計算する。
• Mステップ：変分下界を最大化し、θ を更新する（NLL の場合はノイズモデル ω も更新する）。
• 統一EMフレームワークを三つの設定：部分ラベル学習（PLL）、半教師あり学習（SSL）、ノイズラベル学習（NLL）へ特化する。
• 事後確率から導かれるソフトな整合性ターゲットを組み込む損失関数を導出し、整合性正則化、疑似ラベル付け、ノイズモデリングといった既存手法に結びつけつつ包含する。
• 不確かなラベルの混合にも拡張し、共存する構成に対して頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 単一の EM ベースのフレームワークが PLL、SSL、NLL、およびそれらの混合を、それぞれの設定のための特別な解法なしに統一できるか。
• RQ2 得られる ILL 目的関数は標準の PLL、SSL、NLL ベンチマークで競合的または最先端の性能を達成するか。
• RQ3 真のラベルを潜在変数として扱い、すべてのもっともらしいラベリングの分布を最適化することが、学習の安定性と一般化にどう影響するか。
• RQ4 ノイズ付きラベルを扱うための学習可能なノイズモデルを、アドホックな補正なしに自然に組み込めるか。

主な発見

• ILL は PLL、SSL、NLL を特別なケースとして包含する統一的な EM 形式を提供する。
• ILL は部分ラベル学習のベンチマークで最先端の結果を達成し、SSL および NLL の設定で競合的な性能を示す。
• フレームワークは、複数の不確かなラベル構成を混合した場合にも頑健性と有効性を示す。
• 損失函数の設計は事後分布からのソフトターゲットを反映しており、いくつかの確立された不確かなラベル技法を包含し、外延することを示す。
• ILL はノイズ付きラベルに対して学習可能なノイズモデルを用いたエンドツーエンド学習をサポートする。