[論文レビュー] Multi-Complementary and Unlabeled Learning for Arbitrary Losses and Models

Yuzhou Cao, Shuqi Liu+1 more|arXiv (Cornell University)|Jan 13, 2020

Machine Learning and Data Classification参考文献 33被引用数 7

ひとこと要約

本稿では、任意の損失関数およびモデルに対して、任意の数の補完的ラベルとラベルなしデータを用いて、バイアスのないリスク推定を可能にする、新しいマルチ補完的でラベルなし学習（MCUL）フレームワークを提案する。この手法は、推定誤差において最適なパrametric収束レートを達成し、複数のデータセットにおいて線形モデルおよび深層モデルの両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

A weakly-supervised learning framework named as complementary-label learning has been proposed recently, where each sample is equipped with a single complementary label that denotes one of the classes the sample does not belong to. However, the existing complementary-label learning methods cannot learn from the easily accessible unlabeled samples and samples with multiple complementary labels, which are more informative. In this paper, to remove these limitations, we propose the novel multi-complementary and unlabeled learning framework that allows unbiased estimation of classification risk from samples with any number of complementary labels and unlabeled samples, for arbitrary loss functions and models. We first give an unbiased estimator of the classification risk from samples with multiple complementary labels, and then further improve the estimator by incorporating unlabeled samples into the risk formulation. The estimation error bounds show that the proposed methods are in the optimal parametric convergence rate. Finally, the experiments on both linear and deep models show the effectiveness of our methods.

研究の動機と目的

• 既存の補完的ラベル学習（CLL）手法がラベルなしサンプルや複数の補完的ラベルを持つサンプルを活用できないという限界を解消すること。
• 弱教師付き条件下で任意の損失関数およびモデルをサポートする統一フレームワークを構築すること。
• 任意の数の補完的ラベルを持つサンプルおよびラベルなしデータから、バイアスのないリスク推定を可能にすること。
• 提案されたリスク推定器の最適なパrametric収束レートを理論的に確立すること。

提案手法

• データ分布に対するやや弱い仮定の下で、マルチ補完的ラベル学習（MCL）のための新しいバイアスのないリスク推定器を提案する。
• リスク定式化を変更することで、ラベルなしデータの寄与を組み込むことにより、MCLフレームワークをラベルなしサンプルの統合に拡張する。
• モデルや損失関数に依存しない最適なパrametric収束レートを達成する推定誤差バウンドを導出する。
• クラス事前確率の統合を用いることで、事前情報が利用可能である場合に性能をさらに向上させる。
• 線形モデルおよび深層ニューラルネットワークモデルの両方へフレームワークを適用し、アーキテクチャを越えた一般化を示す。
• 真のラベルが欠落していることを考慮した修正リスク推定器を用いた経験的リスク最小化（ERM）を採用する。

実験結果

リサーチクエスチョン

• RQ1 複数の補完的ラベルを持つサンプルのみを用いて、任意の損失関数およびモデルに対してバイアスのないリスク推定が可能か？
• RQ2 ラベルなしデータを補完的ラベル学習に効果的に統合することで、一般化性能が向上するか？
• RQ3 弱教師付き条件下でも、推定誤差の収束レートが最適を維持するか？
• RQ4 このフレームワークは線形モデルおよび深層学習モデルの両方で一般化可能か？
• RQ5 弱教師付き条件下でクラス事前情報の統合がモデル性能に与える影響は何か？

主な発見

• 提案されたMCLフレームワークは、すべてのデータセットでベースライン手法を著しく上回り、特にEMNIST-balanced や LETTER のような高クラス設定において顕著な性能向上を示す。
• ラベルなしデータの割合が大きい場合、MCULはベースラインを上回る優れた性能を発揮し、ラベルなしデータ統合の利点を実証する。
• SVHNデータセットでは、MCULは20％の補完的ラベル付きデータを用いてテスト精度83.27 ± 0.55％を達成し、他の手法を上回った。
• クラス事前確率情報が利用可能だった場合、MCUL clはSATIMAGEで54.23 ± 6.14％の精度を達成し、MCULより22.9％の向上を示した。
• MCLおよびMCULの推定誤差バウンドは、いずれも最適なパrametric収束レートに位置しており、理論的堅牢性を確認した。
• このフレームワークは、通常の分類および標準的なCLLを特別なケースとして包含しており、その一般性と包括性を示した。