[論文レビュー] Multilabel Consensus Classification

Sihong Xie, Xiangnan Kong+3 more|arXiv (Cornell University)|Oct 16, 2013

Text and Document Classification Technologies参考文献 13被引用数 3

ひとこと要約

本稿では、順位損失とミクロAUCを最適化するために、ラベル相関とモデルコンセンサスを同時にモデル化する2つの新しいマルチラベルコンセンサス分類手法、MLCM-r と MLCM-a を提案する。これらの手法は、生データへのアクセスを必要とせず、マルチラベルタスクにおいてベースラインと比較して順位損失が最大45%低く、ミクロAUCが20%高い性能を達成する。

ABSTRACT

In the era of big data, a large amount of noisy and incomplete data can be collected from multiple sources for prediction tasks. Combining multiple models or data sources helps to counteract the effects of low data quality and the bias of any single model or data source, and thus can improve the robustness and the performance of predictive models. Out of privacy, storage and bandwidth considerations, in certain circumstances one has to combine the predictions from multiple models or data sources to obtain the final predictions without accessing the raw data. Consensus-based prediction combination algorithms are effective for such situations. However, current research on prediction combination focuses on the single label setting, where an instance can have one and only one label. Nonetheless, data nowadays are usually multilabeled, such that more than one label have to be predicted at the same time. Direct applications of existing prediction combination methods to multilabel settings can lead to degenerated performance. In this paper, we address the challenges of combining predictions from multiple multilabel classifiers and propose two novel algorithms, MLCM-r (MultiLabel Consensus Maximization for ranking) and MLCM-a (MLCM for microAUC). These algorithms can capture label correlations that are common in multilabel classifications, and optimize corresponding performance metrics. Experimental results on popular multilabel classification tasks verify the theoretical analysis and effectiveness of the proposed methods.

研究の動機と目的

• プライバシー、帯域幅、またはストレージ制約によりトレーニングデータやテストデータにアクセスできない状況において、複数のモデルからのマルチラベル予測を統合する課題に対処すること。
• 従来の予測統合手法は単一ラベル分類を想定しており、マルチラベル設定では性能が低下するという限界を克服すること。
• ベースモデルの予測のみを用いて、ラベル相関を明示的にモデル化することで、マルチラベル分類性能を向上させること。
• 順位損失とミクロAUCという広く使われるマルチラベル評価指標に特化して最適化するため、コンセンサスメカニズムをラベル相関構造に一致させること。
• 提案手法がそれぞれの指標に対して最適であるという理論的裏付けを提供し、マルチラベルコンセンサス学習分野におけるギャップを埋めること。

提案手法

• MLCM-r はラベル空間におけるランダムウォークを用いてラベル相関を推定し、予測を統合する。目的は順位損失の最小化である。
• このアルゴリズムは、ラベルグラフ上のマルコフ連鎖としてラベル相関をモデル化し、遷移確率をベースモデルの予測から導出する。
• MLCM-a は、ラベル間の部分相関を正則化項として用いる最適化問題として予測統合を定式化し、ミクロAUCを最大化することを目的とする。
• MLCM-a の目的関数は、ラベル間の条件付き依存関係を捉えるように設計されており、その解が漸近的にミクロAUCを最適化する。
• 両手法とも、生データを必要とせず、ベースモデルの予測のみを処理するため、大規模なマルチラベルデータセットに対してもスケーラブルである。
• 理論的分析により、MLCM-r が順位損失を最小化し、MLCM-a がミクロAUCを最大化することが、提案された定式化のもとで保証されている。

実験結果

リサーチクエスチョン

• RQ1 生データにアクセスできない状況で、モデルの予測のみが利用可能な場合、予測統合手法をマルチラベル分類に効果的に拡張できるか？
• RQ2 トレーニングデータやテストデータにアクセスできない状況でも、ラベル相関をどのようにモデル化し、活用できるか？
• RQ3 コンセンサスベースのアルゴリズムを、順位損失やミクロAUCといった具体的なマルチラベル評価指標と正式に結びつけることは可能か？
• RQ4 ラベル相関とモデルコンセンサスを同時にモデル化する最適化フレームワークを設計し、マルチラベル予測性能を向上させることは可能か？
• RQ5 提案手法は、実世界のマルチラベルデータセットにおいて、順位損失とミクロAUCの両面で既存のベースラインを上回るか？

主な発見

• MLCM-r は6つのマルチラベル分類タスクにおいて、ベースライン手法と比較して順位損失を最大45%低減した。
• MLCM-a はベースラインと比較してミクロAUCを最大20%向上させ、ミクロAUC指標において優れた性能を示した。
• 理論的分析により、提案された最適化フレームワークのもとで、MLCM-r が順位損失を最小化し、MLCM-a がミクロAUCを最大化することが確認された。
• 実験の結果、ラベル相関をモデル化することは、ラベルを独立に扱う手法と比較して性能を顕著に向上させることを示した。
• 提案手法は、テストされた6つのマルチラベルデータセットすべてで3つのベースラインを上回り、その堅牢性と一般化性能を裏付けた。
• 性能向上は、テキスト分類、画像分類、バイオインフォマティクス、ドキュメントタギングなど、多様なマルチラベルタスクにわたり一貫して観察された。