[論文レビュー] Bridging Ordinary-Label Learning and Complementary-Label Learning

Yasuhiro Katsura, Masato Uchida|arXiv (Cornell University)|Feb 6, 2020

Text and Document Classification Technologies参考文献 21被引用数 4

ひとこと要約

本稿は、1対多分類と対比較分類における損失関数の双対性と加法性を活用することで、通常ラベル学習と補完ラベル学習を統一する。より多くの補完ラベルが与えられるに従い、分類リスクと誤差境界が単調に減少する新たな分類リスクと誤差境界を導出しており、同じ条件下で補完ラベルからの学習が通常ラベルからの学習と同等またはそれを上回ることを示している。

ABSTRACT

A supervised learning framework has been proposed for the situation where each training data is provided with a complementary label that represents a class to which the pattern does not belong. In the existing literature, complementary-label learning has been studied independently from ordinary-label learning, which assumes that each training data is provided with a label representing the class to which the pattern belongs. However, providing a complementary label should be treated as equivalent to providing the rest of all the labels as the candidates of the one true class. In this paper, we focus on the fact that the loss functions for one-versus-all and pairwise classification corresponding to ordinary-label learning and complementary-label learning satisfy certain additivity and duality, and provide a framework which directly bridge those existing supervised learning frameworks. Further, we derive classification risk and error bound for any loss functions which satisfy additivity and duality.

研究の動機と目的

• 通常ラベル学習と補完ラベル学習を一つの理論的枠組みで統一すること。
• 加法性と双対性を満たす損失関数の分類リスクと誤差境界を分析すること。
• 通常ラベルと補完ラベルを別個の問題として扱う従来の枠組みを一般化すること。
• 補完ラベルの数を増やすことで分類性能が向上することを示すこと。
• 複数の補完ラベルを用いたプライバシー保護型学習の理論的基盤を提供すること。

提案手法

• 1対多分類と対比較分類の間の双対性と加法性に基づく統一された損失関数フレームワークを提案する。
• 複数の補完ラベルをクラス全体に均等に割り当てるデータ生成確率モデルを定義する。
• 原点対称なシグモイド損失関数を用いて分類リスクと誤差境界を導出する。
• 実験では、サロゲート分類器を用いて経験的リスクとテスト誤差を推定する。
• 十分なモデル容量を仮定し、理論的境界をδ = 0.1およびLℓ = 1.0で適用する。
• MNIST、Fashion-MNIST、Kuzushiji-MNIST、CIFAR-10でMLPとDenseNetを用い、標準的なハイパーパrameterを設定する。

実験結果

リサーチクエスチョン

• RQ1 通常ラベル学習と補完ラベル学習を一つの理論的枠組みで統一する方法は何か？
• RQ2 損失関数のどのような性質が1対多分類と対比較分類の間を直接つなぐか？
• RQ3 補完ラベルの数が分類リスクと誤差に与える影響は何か？
• RQ4 導出された誤差境界は、実験的性能の傾向を正確に反映できるか？
• RQ5 ラベル生成の均一性が補完ラベル学習の一般化に与える影響は何か？

主な発見

• 補完ラベルの数が増えるに従い分類誤差が単調に減少し、より多くのラベルが性能向上をもたらすことを示している。
• 1対多分類と対比較分類の理論的誤差境界が同程度にきつく、導出された境界の堅牢性を裏付けている。
• 実験結果は、補完ラベルの数が増えるほど精度が向上する一貫した傾向を示しており、理論的結果を支持している。
• 実験誤差と理論的境界が類似した定性的な形状を示しており、境界が実世界の性能に適切に関連していることを確認している。
• 本稿で導出された分類リスクは、Ishidaら（2017, 2019）、CaoとXu（2020）、Fengら（2020）の先行研究よりも単純かつより一般的である。
• 均等に割り当てられた複数の補完ラベルの割り当てにより、ラベル分布の漏洩を防ぐことでプライバシー保護型学習を支援する。