[論文レビュー] Making Classifier Chains Resilient to Class Imbalance

Bin Liu, Grigorios Tsoumakas|arXiv (Cornell University)|Jul 30, 2018

Text and Document Classification Technologies参考文献 26被引用数 11

ひとこと要約

本稿では、エントリーブ・クラスファイア・チェーン（ECC）アルゴリズムの拡張版であるECCRU、ECCRU2、ECCRU3を提案する。これらの手法は、ランダムアンダーサンプリングと適応的チェーン構築を統合することで、マルチラベル学習におけるクラス不均衡に対する耐性を向上させる。複数の指標において性能が向上し、特に極度に不均衡なデータセットにおいて顕著な効果を示す。ECCRU3は、高不均衡比下でも多数の評価基準で他を上回る性能を発揮する。

ABSTRACT

Class imbalance is an intrinsic characteristic of multi-label data. Most of the labels in multi-label data sets are associated with a small number of training examples, much smaller compared to the size of the data set. Class imbalance poses a key challenge that plagues most multi-label learning methods. Ensemble of Classifier Chains (ECC), one of the most prominent multi-label learning methods, is no exception to this rule, as each of the binary models it builds is trained from all positive and negative examples of a label. To make ECC resilient to class imbalance, we first couple it with random undersampling. We then present two extensions of this basic approach, where we build a varying number of binary models per label and construct chains of different sizes, in order to improve the exploitation of majority examples with approximately the same computational budget. Experimental results on 16 multi-label datasets demonstrate the effectiveness of the proposed approaches in a variety of evaluation metrics.

研究の動機と目的

• ラベルの多くに正例が極めて少ない一方で負例が多く存在するマルチラベル学習におけるクラス不均衡の課題に対処すること。
• 各ラベルごとにすべての正例と負例を用いるため、クラス不均衡に敏感である最新のエントリーブ・クラスファイア・チェーン（ECC）アルゴリズムの性能を向上させること。
• 計算コストの上限を固定した条件下で、各ラベルごとにチェーンの数やそのサイズを変化させることで、マジョリティクラスの例をより効果的に活用する手法を開発すること。
• ラベルの不均衡比がモデル性能に与える影響を調査し、異なる不均衡レベルに対応する最適なチェーン構築戦略を同定すること。

提案手法

• ECCRUでは、ECC内の各バイナリ分類器に対してランダムアンダーサンプリングを適用し、各ラベルの学習データをバランスさせる。
• ECCRU2では、不均衡比に応じて各ラベルごとに異なる数のチェーンを構築する。これにより、高不均衡ラベルに重点を置ける。
• ECCRU3では、高不均衡ラベルに対しては短いチェーン、低不均衡ラベルに対しては長いチェーンを用いることで、計算リソースの使用を最適化する。
• 全チェーンにわたる投票戦略を採用し、予測を統合する。各ラベルの最終スコアは、そのラベルを正例と予測したチェーンの割合として定義する。
• 実験的性能傾向に基づき、低不均衡比ではECCRU、高不均衡比ではECCRU3を選択するメタ戦略を適用する。
• 16のマルチラベルデータセットを用いて、F1スコア、G-mean、バランス化精度、AUC-ROC、AUC-PRの5つの標準指標で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダムアンダーサンプリングは、不均衡なマルチラベルデータセットにおけるECCの性能をどのように向上させるか？
• RQ2 各ラベルごとにチェーンの数やサイズを変化させることで、計算コストを増加させずにマジョリティ例をより効果的に活用できるか？
• RQ3 ラベルの不均衡比がマルチラベル学習における最適なチェーン構築戦略に与える影響は何か？
• RQ4 高不均衡度下でもECCRU3はECCRU2やECCを上回る性能を発揮するか？
• RQ5 不均衡比に応じてECCRUとECCRU3を切り替えるメタアプローチが、全体的な性能を向上させ得るか？

主な発見

• ECCRU3は5つの評価指標すべてで最良の全体的性能を達成し、p値 < 0.05 のほとんどの比較でECCや他のベースラインを顕著に上回る。
• 不均衡比（ImR）が15以上の場合、F1、G-mean、バランス化精度、AUC-ROC、AUC-PRの順位で提案手法が優勢となり、特にImR ≥ 100の状況で顕著である。
• ECCRU3は、バランス化精度を除くすべての指標でECCRU2を一貫して上回り、特に高不均衡状況下で顕著な優位性を示す。
• ImR < 50の状況では、ECCRUがECCRU2およびECCRU3を上回る性能を示す。これは、中程度の不均衡下では完全なチェーンモデル化がより有益であることを示唆する。
• 分析の結果、高ImR下では、ラベル依存性をモデル化するよりも、短いチェーンを用いてマジョリティ例をより多く活用することが有効であることが判明。一方、低ImR下では完全なチェーンがより価値がある。
• 低ImRではECCRU、高ImRではECCRU3を選択するメタ戦略が、観察された性能のトレードオフに基づき、さらなる向上が期待できると仮説が立てられる。