[論文レビュー] Multi-class Classification without Multi-class Labels

Yen-Chang Hsu, Zhaoyang Lv+3 more|arXiv (Cornell University)|Jan 2, 2019

Anomaly Detection Techniques and Applications参考文献 47被引用数 17

ひとこと要約

本稿では、明示的なクラスラベルの代わりにペアワイズ類似度ラベルのみを用いてマルチクラス分類器を学習する、新しいフレームワークであるメタ分類学習（MCL）を提案する。2つのサンプルが同じクラスに属するかどうかを予測するバイナリ分類器を学習することで、単純で微分可能な損失関数を介して、クラス固有のアノテーションを一切必要としない、判別的なマルチクラスモデルを学習する。この手法は、教師あり、教師なしクロスタスク、半教師あり学習の各設定において、最先端または競争力のある性能を達成している。

ABSTRACT

This work presents a new strategy for multi-class classification that requires no class-specific labels, but instead leverages pairwise similarity between examples, which is a weaker form of annotation. The proposed method, meta classification learning, optimizes a binary classifier for pairwise similarity prediction and through this process learns a multi-class classifier as a submodule. We formulate this approach, present a probabilistic graphical model for it, and derive a surprisingly simple loss function that can be used to learn neural network-based models. We then demonstrate that this same framework generalizes to the supervised, unsupervised cross-task, and semi-supervised settings. Our method is evaluated against state of the art in all three learning paradigms and shows a superior or comparable accuracy, providing evidence that learning multi-class classification without multi-class labels is a viable learning option.

研究の動機と目的

• 深層学習におけるマルチクラスラベルの収集にかかる高コストと制限を解消すること。
• より弱いペアワイズ類似度アノテーションを活用することで、明示的なクラスラベルへの依存を低減すること。
• 教師あり、教師なしクロスタスク、半教師ありの複数の学習パラダイムを統一的にサポートするフレームワークを構築すること。
• ペアワイズ類似度による学習が、効果的なマルチクラス分類に十分であることを示すこと。
• 弱い監視下におけるニューラルネットワークの学習に対して、単純でスケーラブルでハイパーパrameterフリーな目的関数を提供すること。

提案手法

• マルチクラス分類をメタ問題として定式化：2つのサンプルが同じクラスに属するかを予測するバイナリ分類器を学習する。
• ペアワイズ類似度とクラス所属関係の関係を形式化するための確率的グラフィカルモデルを導入する。
• モデルの尤度関数から導出された単純で微分可能な損失関数を提案し、ニューラルネットワークのエンドツーエンド学習を可能にする。
• 訓練段階では、マルチクラス分類器の学習をガイドするための単一のバイナリ分類器を用いる。推論時には、学習済みのマルチクラス分類器を用いる。
• 未ラベルデータに対して訓練済みのバイナリモデルを用いて疑似ラベルを生成することで、半教師あり学習へ一般化する。
• 新しい未知のクラスに対して、クラスラベルの再トレーニングなしにバイナリ類似度モデルを転移可能であるため、教師なしクロスタスク学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 クラス固有のラベルが一切ない状況でも、マルチクラス分類器を効果的に学習できるか？
• RQ2 ペアワイズ類似度は、マルチクラス分類における判別的表現学習のための十分な監視信号であるか？
• RQ3 ペアワイズ類似度に基づく統一フレームワークは、教師あり、半教師あり、教師なしクロスタスク学習の複数のパラダイムをサポートできるか？
• RQ4 クラスラベルが限られている、あるいは存在しない設定において、提案手法の性能は最先端手法と比較してどうなるか？
• RQ5 導出された損失関数の最適化挙動と一般化能力は、異なる学習環境下でどのように現れるか？

主な発見

• 提案手法MCLは、教師あり学習において最先端または競争力のある正確度を達成しており、一部の設定ではペアワイズラベルのみを用いた場合に標準的な教師あり学習を上回る性能を示した。
• 教師なしクロスタスク学習において、MCLは未知のクラスに効果的に一般化し、クラスアイデンティティの事前知識がなくても、頑健性と転送性を示した。
• CIFAR-10でラベル付きサンプルがたった4,000個の半教師あり学習設定において、Pseudo-MCLはテスト誤差率18.0% ± 0.4%を達成し、最先端のVAT手法と同等の性能を示した。
• アブレーションスタディの結果、バイナリ分類器とマルチクラス分類器を同時に最適化する（Pseudo-MCL）ことで、静的類似度ネットワーク（SPN-MCL）の22.8%誤差を大幅に上回る性能が得られ、エンドツーエンド学習の利点が明確になった。
• マージンしきい値などのハイパーパrameterが不要であるため、学習が簡素化され、特にデータが少ない状況でも頑健性が向上する。
• 損失関数の形状の可視化から、MCLの目的関数は滑らかで、鋭い極小値を避ける傾向にあり、望ましい最適化ダイナミクスを示していることがわかった。