[論文レビュー] Learning from Complementary Labels

Takashi Ishida, Gang Niu+2 more|arXiv (Cornell University)|May 22, 2017

Machine Learning and Data Classification参考文献 27被引用数 57

ひとこと要約

この論文は多クラス分類の補完ラベルから学習することを導入し、対称性条件の下で無偏リスク推定を提供し、学習保証を確立し、日常ラベルとの組み合わせによる実用性を示す。

ABSTRACT

Collecting labeled data is costly and thus a critical bottleneck in real-world classification tasks. To mitigate this problem, we propose a novel setting, namely learning from complementary labels for multi-class classification. A complementary label specifies a class that a pattern does not belong to. Collecting complementary labels would be less laborious than collecting ordinary labels, since users do not have to carefully choose the correct class from a long list of candidate classes. However, complementary labels are less informative than ordinary labels and thus a suitable approach is needed to better learn from them. In this paper, we show that an unbiased estimator to the classification risk can be obtained only from complementarily labeled data, if a loss function satisfies a particular symmetric condition. We derive estimation error bounds for the proposed method and prove that the optimal parametric convergence rate is achieved. We further show that learning from complementary labels can be easily combined with learning from ordinary labels (i.e., ordinary supervised learning), providing a highly practical implementation of the proposed method. Finally, we experimentally demonstrate the usefulness of the proposed methods.

研究の動機と目的

• 多クラス分類において普通のラベルと比べて安価な補完ラベルの必要性を動機づける。
• 対称性損失条件の下で補完ラベルから無偏リスク推定を実現するリスク最小化フレームワークを提案する。
• 推定誤差境界と収束率を含む理論的保証を提供する。
• 補完ラベルと普通ラベルを組み合わせ、クラウドソーシングのシナリオを通じて実用性を示す。
• MNISTやいくつかのベンチマークデータセットを用いた実験でアプローチを検証する。

提案手法

• 間違った補完ラベルには大きな損失を課す補完 losses を導入する。
• 補完ラベルデータから分類リスクを無偏に推定できることを示す。
• OVAおよびPC損失に対応する補完損失の明示的な形を提供する。
• Rademacher複雑さを用いて推定誤差境界を導出し、最適パラメトリック収束率 O_p(1/√n) を証明する。
• 補完ラベルと普通ラベルの両方を組み込める凸結合(alphaパラメータ)による合成リスクを提示する。
• Adam のような確率的方法で最適化の実現可能性を示し、クラウドソーシングに適したデータ収集戦略を示す。

実験結果

リサーチクエスチョン

• RQ1 対称性条件を満たす損失の下で補完ラベルデータのみから分類リスクを無偏推定できるか？
• RQ2 補完ラベルからの学習についての理論的保証（推定誤差境界、一貫性、収束率）は何か？
• RQ3 補完ラベル学習を普通の教師あり学習と組み合わせてデータ効率を改善できるか？
• RQ4 標準データセット上で補完ラベル法は既存の部分ラベルやマルチラベルのアプローチと比較して実証的にどうか？

主な発見

• 対称条件を満たす損失（L(z)+L(−z)=1）に基づく補完ラベルから分類リスクの無偏推定量が得られる。
• Sigmoid および ramp 損失は補完学習の対称性条件を満たし、実用的な無偏リスク推定を可能にする。
• 本手法は最適なパラメトリック収束率 O_p(1/√n) を達成し、一貫性がある。
• 補完ラベルと普通ラベルを組み合わせると実験で性能とデータ効率が向上する。
• MNIST とベンチマークデータセットにおける経験的結果は、部分ラベルおよびマルチラベルのベースラインと競合する性能を示す。
• 本フレームワークはクラウドソーシングと互換性があり、補完ラベルの収集を容易にする。