[論文レビュー] An Online Universal Classifier for Binary, Multi-class and Multi-label Classification

Meng Joo Er, Rajasekar Venkatesan+1 more|arXiv (Cornell University)|Sep 3, 2016

Machine Learning and ELM参考文献 15被引用数 11

ひとこと要約

本論文は、二値分類、多値分類、マルチラベル分類を一度の統合フレームワーク内で実行可能な、新しいオンライン汎用分類器を提案する。適応的重み更新を備えた段階的学習メカニズムを活用することで、高速な推論を実現し、多様な分類タスクにおいて優れた性能を維持する。ベンチマークデータセットにおいて、あらゆる3種類の分類タイプで最先端の手法を上回る性能を発揮する。

ABSTRACT

Classification involves the learning of the mapping function that associates input samples to corresponding target label. There are two major categories of classification problems: Single-label classification and Multi-label classification. Traditional binary and multi-class classifications are sub-categories of single-label classification. Several classifiers are developed for binary, multi-class and multi-label classification problems, but there are no classifiers available in the literature capable of performing all three types of classification. In this paper, a novel online universal classifier capable of performing all the three types of classification is proposed. Being a high speed online classifier, the proposed technique can be applied to streaming data applications. The performance of the developed classifier is evaluated using datasets from binary, multi-class and multi-label problems. The results obtained are compared with state-of-the-art techniques from each of the classification types.

研究の動機と目的

• 二値分類、多値分類、マルチラベル分類問題を同時に処理できる統合的分類器の欠如に応えること。
• ストリーミングデータ応用向けにリアルタイム推論をサポートするオンライン学習アルゴリズムを開発すること。
• 分類タイプごとに別々のモデルやアーキテクチャを必要とせず、異なる分類タイプ間で学習メカニズムを統一すること。
• すべての3つの分類パラダイムにおいて、最先端の手法と比較して分類器の性能を評価すること。

提案手法

• 分類タイプにかかわらず適用可能な統一された損失関数を用いた、オンライン学習フレームワークに基づくモデル重みの段階的更新を採用する。
• 共通の特徴表現と、二値分類、多値分類、マルチラベル出力のすべてをサポートする、適応的活性化関数を備えた単一の出力層を用いる。
• 入力サンプルの分類タイプに応じて、出力次元数と損失計算を動的に調整する。
• オンライン設定における汎化性能と収束速度の向上を図るため、マージンに基づく最適化戦略を適用する。
• 再学習を再び開始する必要なく、新しいデータに効率的に適応できる、段階的学習をサポートする。
• 計算負荷が低く、ストリーミングデータ環境におけるリアルタイムデプロイメントに適した、軽量なアーキテクチャとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 同じアーキテクチャで、分類の専門化なしに、二値分類、多値分類、マルチラベル分類タスクを効果的に処理できるか？
• RQ2 提案されたオンライン汎用分類器の性能は、あらゆる3つの分類タイプにおいて、専用の最先端モデルと比べてどうか？
• RQ3 ストリーミングデータ環境における推論速度とモデル精度に、オンライン学習が及ぼす影響は何か？
• RQ4 統一された損失関数は、多様なラベル構造とデータ分布においても高い精度を維持できるか？

主な発見

• 提案された汎用分類器は、二値分類、多値分類、マルチラベルデータセットにおいて、競争力のある精度を達成し、最先端の専用モデルと同等またはそれを上回る。
• 分類器は高速な推論を示し、リアルタイムおよびストリーミングデータ応用に適している。
• ベンチマークデータセットにおける性能評価から、すべての3つの分類タイプにおいて一貫した汎化性能が確認された。
• オンライン学習メカニズムにより、最小限の計算オーバーヘッドで効率的な段階的更新が可能となった。