[論文レビュー] One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement

Ning Xu, Congyu Qiao+3 more|arXiv (Cornell University)|Jun 1, 2022

Text and Document Classification Technologies被引用数 11

ひとこと要約

本論文は、1例あたり1つの正例ラベルのみを用いて理論的裏付けのある性能を達成する、新しい単一正例マルチラベル学習手法Smileを提案する。不偏リスク推定器を導出し、変分ベータ密度近似によるラベル強化を採用することで、Smileは潜在的なソフトラベルを回復し、12の汚染済みマルチラベルデータセットにおいて、統計的に有意に優れた性能を示す。

ABSTRACT

Multi-label learning (MLL) learns from the examples each associated with multiple labels simultaneously, where the high cost of annotating all relevant labels for each training example is challenging for real-world applications. To cope with the challenge, we investigate single-positive multi-label learning (SPMLL) where each example is annotated with only one relevant label, and show that one can successfully learn a theoretically grounded multi-label classifier for the problem. In this paper, a novel SPMLL method named SMILE, i.e., Single-positive MultI-label learning with Label Enhancement, is proposed. Specifically, an unbiased risk estimator is derived, which could be guaranteed to approximately converge to the optimal risk minimizer of fully supervised learning and shows that one positive label of each instance is sufficient to train the predictive model. Then, the corresponding empirical risk estimator is established via recovering the latent soft label as a label enhancement process, where the posterior density of the latent soft labels is approximate to the variational Beta density parameterized by an inference model. Experiments on benchmark datasets validate the effectiveness of the proposed method.

研究の動機と目的

• マルチラベル学習における高いラベル付けコストを軽減するため、1例あたり1つの正例ラベルでの学習を可能にする。
• 単一正例マルチラベル学習が有効な分類性能を達成できる理論的根拠を提供する。
• 低監視設定におけるモデル一般化性能を向上させるために、潜在的なソフトラベルを強化する実用的手法を開発する。
• 本手法の有効性を、現実世界の汚染済みマルチラベルデータセット上で実証する。

提案手法

• 完全に教師ありマルチラベル学習において、最適リスク最小化子への収束を保証する不偏リスク推定器を導出する。これは、1例あたり1つの正例ラベルしか利用しない状況でも有効である。
• 潜在的なソフトラベルの事後分布を変分ベータ分布で近似することで、ラベルの事後密度を推定するラベル強化プロセスを提案する。
• エンドツーエンド最適化を可能にするエビデンス下限界（ELBO）を定式化し、分類器とソフトラベル推定の共同学習を可能にする。
• 予測モデルとして、3層のMLPを用いた深層ニューラルネットワークを採用し、Adam最適化手法を用いてELBO目的関数に基づいて学習する。
• アブレーションとして、ラベルスムージングと信頼度ベースのソフトラベル近似を用い、提案手法のラベル強化機構の有効性を検証する。
• 12の汚染済みマルチラベルデータセットに本手法を適用し、5分割交差検証を実施し、80%/10%/10%の訓練/検証/テスト分割を用いる。

実験結果

リサーチクエスチョン

• RQ1 1例あたり1つの正例ラベルのみを用いて、完全なラベル監視なしにマルチラベル分類器を効果的に学習できるか？
• RQ2 単一正例マルチラベル学習において、最適解への収束を保証する理論的裏付けのあるリスク推定器は存在するか？
• RQ3 ソフトラベルの事後分布を変分後退で近似するラベル強化は、低監視設定におけるモデル性能を顕著に向上させるか？
• RQ4 本手法であるSmileは、既存のSPMLLおよび部分ラベル学習手法と比較して、一般化性能およびロバストネスにおいて優れているか？

主な発見

• Smileは、12の汚染済みマルチラベルデータセットにおいて、平均精度、1エラー、ランクロス、ハミングロスの全指標で、すべてのベースライン手法を顕著に上回る。
• ウィルコクソン符号順位検定により、Smileの性能がすべての比較手法よりも統計的に有意に優れていることが確認され、p値は0.0049から0.0277の範囲に分布している。
• ラベル強化をモデルの信頼度に基づくソフトラベル近似に置き換えたアブレーションバージョンであるSmile-siは、Smileより性能が劣っており、ラベル強化機構の必要性が裏付けられた。
• 図3に示すように、推定されたソフトラベル行列Dはトレーニング中に安定して収束しており、効果的で安定したラベル回復が行われていることが示された。
• ラベル数が異なるデータセットにおいても、Smileは一貫した性能優位性を示しており、ラベル集合サイズの変動に対してロバストであることが確認された。