[論文レビュー] Learning with Multiple Complementary Labels

Lei Feng, Takuo Kaneko+4 more|arXiv (Cornell University)|Dec 30, 2019

Machine Learning and Data Classification参考文献 57被引用数 23

ひとこと要約

本論文は、各例に対して複数の誤りラベル（MCLs）を関連付ける、従来の単一補完ラベル学習を拡張する、新しい学習フレームワークを導入する。MCLsを複数の単一CLに分解する既存手法と互換性を持つワイヤラップ手法と、MCLセット全体を処理する新規の不偏リスク推定器の2つのアプローチを提案。理論的保証と優れた実験的性能を備え、ベンチマークデータセットにおいてワイヤラップベースの手法を上回る性能を発揮する。

ABSTRACT

A complementary label (CL) simply indicates an incorrect class of an example, but learning with CLs results in multi-class classifiers that can predict the correct class. Unfortunately, the problem setting only allows a single CL for each example, which notably limits its potential since our labelers may easily identify multiple CLs (MCLs) to one example. In this paper, we propose a novel problem setting to allow MCLs for each example and two ways for learning with MCLs. In the first way, we design two wrappers that decompose MCLs into many single CLs, so that we could use any method for learning with CLs. However, the supervision information that MCLs hold is conceptually diluted after decomposition. Thus, in the second way, we derive an unbiased risk estimator; minimizing it processes each set of MCLs as a whole and possesses an estimation error bound. We further improve the second way into minimizing properly chosen upper bounds. Experiments show that the former way works well for learning with MCLs but the latter is even better.

研究の動機と目的

• 既存の補完ラベル学習が1例あたり1つの誤りラベルしか許さないという制限を克服し、複数の補完ラベル（MCLs）をサポートする新しい問題設定を導入すること。
• MCLsからの学習のための実用的で理論的根拠を持つ手法を開発し、監督情報の劣化を引き起こす既存の分解ベースのアプローチを改善すること。
• 各MCLセットを全体として扱う不偏リスク推定器を提案し、概念的一致性と収束保証を確保すること。
• 提案されたリスク推定器の推定誤差バウンドを導出することで、学習データ量が増加するにつれて統計的一致性が保証されることを示すこと。

提案手法

• 訓練例ごとに複数の補完ラベル（MCLs）を許容する新しい問題設定を提案し、ラベル提供者からのより豊かな監督を可能にする。
• 各MCLセットを複数の例に分解し、それぞれに単一CLを割り当てる2つのワイヤラップ手法を設計し、既存のCL学習アルゴリズムの利用を可能にする。
• 各MCLセット全体を処理する不偏リスク推定器を開発し、分解による情報劣化を回避する。
• リスク推定器の理論的推定誤差バウンドを導出し、やや厳しい条件下でも真のリスク最小化者への収束を証明する。
• 最適化の安定性と勾配更新の効果を高めるために、適切に選択されたリスク推定器の上界を最小化することで推定器を改善する。
• ベンチマークデータセット上で標準的なディープラーニングモデル（例：ResNet、DenseNet）と線形モデルを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 複数補完ラベル（MCLs）を用いた学習は、単一補完ラベル学習よりも分類性能を向上させることができるか？
• RQ2 MCLセットを全体として処理するアプローチは、複数の単一CL例に分解するアプローチよりも優れた結果をもたらすか？
• RQ3 MCLs向けに設計されたリスク推定器の理論的一般化性能は何か？収束保証があるか？
• RQ4 MCLsを用いた学習において、有界損失関数（例：MAE、GCE）と無限大損失関数（例：CCE）の違いがモデル性能に与える影響は何か？
• RQ5 上界最小化は、MCLベースのモデルの実用的トレーニングを改善できるか？

主な発見

• 提案されたMCLセット全体を処理する不偏リスク推定器は、すべてのベンチマークデータセットでワイヤラップベースの分解手法を一貫して上回る性能を発揮する。
• リスク推定器の推定誤差バウンドにより、学習データサイズが増加するにつれて、経験的リスク最小化者が真のリスク最小化者に高確率で収束することが保証される。
• リスク推定器の上界を最小化することで改善された手法は、より安定した勾配更新を実現し、モデル性能の向上に寄与する。
• 実験では、1例あたりのMCL数が増えるほど分類精度が向上することが示され、理論的期待に合致する、より多くの監督情報が学習を改善することを裏付ける。
• 有界損失関数（例：MAE、GCE）は、MCLの存在下で無限大損失関数（CCE）を上回る性能を示し、弱教師付き設定における過学習を抑制する可能性を示唆する。