[論文レビュー] Progressive Identification of True Labels for Partial-Label Learning

Jiaqi Lv, Miao Xu+4 more|arXiv (Cornell University)|Feb 19, 2020

Machine Learning and Data Classification参考文献 56被引用数 36

ひとこと要約

PRODEN を紹介する、モデルと損失に依存しない逐次識別フレームワークを PARTIAL-LABEL 学習（PLL）に適用する。分類器一貫性のリスク推定量を備え、さまざまなデータセットで最先端の結果を示す。

ABSTRACT

Partial-label learning (PLL) is a typical weakly supervised learning problem, where each training instance is equipped with a set of candidate labels among which only one is the true label. Most existing methods elaborately designed learning objectives as constrained optimizations that must be solved in specific manners, making their computational complexity a bottleneck for scaling up to big data. The goal of this paper is to propose a novel framework of PLL with flexibility on the model and optimization algorithm. More specifically, we propose a novel estimator of the classification risk, theoretically analyze the classifier-consistency, and establish an estimation error bound. Then we propose a progressive identification algorithm for approximately minimizing the proposed risk estimator, where the update of the model and identification of true labels are conducted in a seamless manner. The resulting algorithm is model-independent and loss-independent, and compatible with stochastic optimization. Thorough experiments demonstrate it sets the new state of the art.

研究の動機と目的

• PLL を、候補ラベルの集合のみが利用可能な、スケーラブルで柔軟な弱教師あり学習問題として動機づける。
• 特定のモデルや最適化アルゴリズムに制限することなく、PLL に適した分類器一貫性リスク推定量を定義する。
• モデル更新と真ラベル識別を確率的でモデルに依存しない方法で統合する progressive identification (PRODEN) アルゴリズムを提案する。
• 分類器一貫性リスクと推定誤差上界を含む理論的保証を確立する。
• 合成データと実データの multiple baselines に対して PRODEN を検証し、深層学習バックボーンを含む。

提案手法

• PLL の分類器一貫性リスクの提案: R_PLL(g)=E[min_{i in S} l(g(X), e^i)].
• 小さな曖昧度とクロスエントロピーまたは MSE 損失の下で、PLL 分類器は通常の最適分類器と等価になる（分類器一貫性）。
• 経験的 PLL リスクの推定誤差境界をリーマンの複雑性を用いて導出する。
• PRODEN: 最小値を動的重み w_ij に緩和し、重みと分類器を確率的にシームレスに更新する progressive identification アルゴリズム。
• 分解可能な損失を用いて経験的 PLL リスクを R̂_PLL= (1/n) sum_i sum_j w_ij l(g_j(x_i), e_j^{s_i}) に再構成し、重み w_ij は現在の予測から導出される。
• uniform 重みで初期化し、徐々に w_ij = g_j(x_i) / sum_{k in s_i} g_k(x_i) によって重みを調整する。
• PRODEN がモデル依存性と損失依存性を持たず、確率的最適化と互換性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意のモデルと損失関数とともに機能する分類器一貫性リスク推定量を用いて PLL をどう枠組み化できるか？
• RQ2 訓練中に候補集合内の真のラベルを効果的に同定する progressive identification 戦略は、スケーラブルな確率的最適化フレームワークの中で機能するか？
• RQ3 実用的な条件下で、分類器一貫性と推定誤差上界といった理論保証は PLL に適用可能か？
• RQ4 PRODEN は合成データおよび実世界データセットとさまざまなモデルアーキテクチャに対して、最先端の PLL 手法と比較してどのような実績を示すか？

主な発見

• 候補ラベル上の最小損失に基づく PLL リスク推定量は、決定論的学習・小さな曖昧度・クロスエントロピーや MSE のような一般的な損失に対して分類器一貫性を満たす。
• サンプルサイズが大きくなると PLL リスクが通常の PLL リスクへ収束する推定誤差境界を確立し、亜クラスのラダーマハ複雑性に依存する。
• PRODEN アルゴリズムは複数のベンチマークで最先端の性能を達成し、いくつかのデータセットで監視付き性能（PNオラクル）に匹敵または近づくことが多く、モデルファミリと曖昧度レベルを跨いで頑健性を示す。
• PRODEN は E-ステップと M-ステップの分離で過剰適合を避けるため、重みとモデルパラメータをシームレスに同時更新することで EM ベースの対になる手法より優れている。
• PRODEN は高い曖昧度での性能と多様なデータセット、MNIST、Fashion-MNIST、Kuzushiji-MNIST、CIFAR-10 などおよび複数の実世界の部分ラベルデータセットで強力な性能を示す。