[論文レビュー] Provably Consistent Partial-Label Learning

Lei Feng, Jiaqi Lv+6 more|arXiv (Cornell University)|Jul 17, 2020

Text and Document Classification Technologies参考文献 78被引用数 53

ひとこと要約

この論文は部分ラベルデータの生成モデルと、深層ネットワークとともに機能する、2つの証明可能に一貫性を持つPLL手法（リスク一貫性RCと分類子一貫性CC）、推定誤差境界と実証的検証を提案します。

ABSTRACT

Partial-label learning (PLL) is a multi-class classification problem, where each training example is associated with a set of candidate labels. Even though many practical PLL methods have been proposed in the last two decades, there lacks a theoretical understanding of the consistency of those methods-none of the PLL methods hitherto possesses a generation process of candidate label sets, and then it is still unclear why such a method works on a specific dataset and when it may fail given a different dataset. In this paper, we propose the first generation model of candidate label sets, and develop two novel PLL methods that are guaranteed to be provably consistent, i.e., one is risk-consistent and the other is classifier-consistent. Our methods are advantageous, since they are compatible with any deep network or stochastic optimizer. Furthermore, thanks to the generation model, we would be able to answer the two questions above by testing if the generation model matches given candidate label sets. Experiments on benchmark and real-world datasets validate the effectiveness of the proposed generation model and two PLL methods.

研究の動機と目的

• PLLを実用的な正確ラベル取得の困難さと理論的保証の必要性に動機づける。
• 正しいラベルが候補集合に含まれることを保証する部分ラベルデータのデータ生成モデルを提案する。
• formal consistency guarantees を持つ2つのPLL手法を開発する（リスク一貫性RCと分類子一貫性CC）。
• 真のリスク最小化子への収束を示すリスク推定境界を提供する。
• ベンチマークおよび現実世界の部分ラベルデータセットで手法を経験的に検証する。

提案手法

• 真のラベルを常に含む候補ラベル集合を生成する確率モデルを定義する（Eq. 5）。
• 重要度再重み付けを用いたリスク一貫性PLL手法を導出する（Eq. 8–9）およびクロスエントロピー損失（Eq. 9）で実装する。
• 遷移行列Qとリスク推定量を用いて分類子一貫性PLL手法を導出する（Eq. 11–12）。
• RC（Theorem 4）とCC（Theorem 6）双方の推定誤差境界を提供する。
• 深層モデルでは境界がより厳密で信頼度推定が可能なため、RCはCCよりも優れる傾向を示す。
• 現代のネットワークと互換性を保つために、手法はモデル依存性・最適化子依存性を取り除く。

実験結果

リサーチクエスチョン

• RQ1 部分ラベルデータのExplicitなデータ生成プロセスを定義してPLLの前提が成り立つことを保証できるか？
• RQ2 この生成モデルの下で、リスク一貫性かつ分類子一貫性を保証的に満たすPLL手法を設計できるか？
• RQ3 提案手法の推定誤差境界と収束性はどうなるか？
• RQ4 提案手法はベンチマークおよび現実世界のPLLデータセットでどの程度実証可能か、モデルの複雑さは性能にどう影響するか？

主な発見

データセット	RC (test %)	CC (test %)	GA (test %)	NN (test %)	Free (test %)	PC (test %)	Forward (test %)	EXP (test %)	LOG (test %)	MAE (test %)	MSE (test %)	GCE (test %)	Phuber-CE (test %)
MNIST	98.00 ± 0.11	97.87 ± 0.10	96.37 ± 0.13	96.75 ± 0.08	88.48 ± 0.37	92.47 ± 0.13	97.64 ± 0.11	97.81 ± 0.04	97.86 ± 0.11	97.82 ± 0.11	96.95 ± 0.14	96.71 ± 0.08	95.10 ± 0.34
Kuzushiji-MNIST	89.38 ± 0.28	88.83 ± 0.40	84.23 ± 0.19	82.36 ± 0.41	70.31 ± 0.68	73.45 ± 0.20	87.64 ± 0.13	88.48 ± 0.29	88.24 ± 0.08	88.43 ± 0.32	85.16 ± 0.44	85.19 ± 0.39	80.66 ± 0.41
Fashion-MNIST	88.38 ± 0.16	87.88 ± 0.25	85.57 ± 0.16	86.25 ± 0.14	81.34 ± 0.47	83.37 ± 0.31	86.73 ± 0.15	87.96 ± 0.06	88.31 ± 0.26	87.83 ± 0.22	85.72 ± 0.26	86.88 ± 0.16	85.33 ± 0.23
CIFAR-10	77.93 ± 0.59	75.78 ± 0.27	72.22 ± 0.19	68.09 ± 0.31	17.74 ± 1.20	46.53 ± 2.01	71.18 ± 0.92	73.22 ± 0.66	75.38 ± 0.34	66.91 ± 3.08	66.15 ± 2.13	72.22 ± 0.19	58.60 ± 0.95

• 2つの証明可能に一貫性のあるPLL手法が提案される：リスク一貫性手法（RC）と分類子一貫性手法（CC）。
• RCはCCより推定誤差境界を厳密にし、深いネットワークで実務上より良い性能を発揮する。
• 部分ラベルの明示的データ生成モデルは、候補集合に正しいラベルが含まれるというPLLコア仮定を満たすことを示す（定理1–2）。
• RCはimportance再重み付けを用い、p(y=i|x)はsoftmax出力で近似され、非候補ラベルをゼロにする（Eq. 10）。
• CCは通常ラベルと候補ラベルを関連付ける遷移行列Qを用い、偏りのない分類器一貫性推定量を生み出す（定理5–6）。
• MNIST、 Kuzushiji-MNIST、Fashion-MNIST、CIFAR-10、および実世界のPLLデータセットで、ニューラルおよび線形モデルの効果を検証する。