[論文レビュー] Towards Label Imbalance in Multi-label Classification with Many Labels

Li Li, Houfeng Wang|arXiv (Cornell University)|Apr 5, 2016

Text and Document Classification Technologies参考文献 15被引用数 11

ひとこと要約

この論文では、多数のラベルを有する多ラベル分類におけるラベル不均衡問題に対処するため、サンプリング戦略を組み合わせた新しい表現ベースの多ラベル学習手法RMLSを提案する。訓練中に関連するラベルと関連のないラベルを戦略的にサンプリングすることで、頻度の高いラベルの優位性を軽減し、不均衡データセットにおける性能を向上させる。実世界のベンチマークにおいて、最大50,000ラベルを有する状況でも、F1スコアおよびハミング損失の両面で既存手法を上回る性能を発揮する。

ABSTRACT

In multi-label classification, an instance may be associated with a set of labels simultaneously. Recently, the research on multi-label classification has largely shifted its focus to the other end of the spectrum where the number of labels is assumed to be extremely large. The existing works focus on how to design scalable algorithms that offer fast training procedures and have a small memory footprint. However they ignore and even compound another challenge - the label imbalance problem. To address this drawback, we propose a novel Representation-based Multi-label Learning with Sampling (RMLS) approach. To the best of our knowledge, we are the first to tackle the imbalance problem in multi-label classification with many labels. Our experimentations with real-world datasets demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 多数のラベルを有する多ラベル分類において、希少ラベルが過小代表化されるという見過ごされがちなラベル不均衡問題に対処すること。
• LSDR や RBL といったスケーラブルな既存手法が、頻度の低いラベルをしばしば無視または過小代表化するという、ラベル不均衡の悪化要因を克服すること。
• ラベル数が数万に達する状況でも高い性能を維持できるスケーラブルで効果的な手法を開発すること。
• モデル訓練中に関連するラベルと関連のないラベルの表現をバランスさせるサンプリング戦略を導入すること。
• 極めてラベルの多様性と不均衡性が顕著な実世界データセットにおいて、提案手法の有効性を実証すること。

提案手法

• インスタンスとラベルを共通の埋め込み空間に統合して埋め込む表現ベースの学習フレームワークを提案する。
• ハイパーパrameter α を用いて、訓練中にポジティブ（関連）ラベルとネガティブ（関連なし）ラベルの比率を制御するサンプリング戦略を導入する。
• コントラスト型損失関数を用いてモデルを最適化し、ポジティブなインスタンス-ラベルペア同士の近接性を促進するとともに、ネガティブペア間の分離を強化する。
• ミニバッチを用いてモデルを訓練する際、各バッチにサンプリング係数 α に基づき、関連するラベルと関連のないラベルがバランスされた混合データを含める。
• 訓練済みモデルを用いて、インスタンス埋め込みとラベル埋め込みの類似度スコアを計算することでラベルを予測する。
• 類似度スコアが最も高い上位-k ラベルを選択することで予測をデコードし、ラベル集合が非常に大きい場合でもスケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 ラベル数が非常に多い状況下で、ラベル不均衡が既存の多ラベル学習手法の性能にどのように影響を与えるか？
• RQ2 サンプリング戦略が、多数のラベルを有する多ラベル分類におけるラベル不均衡の悪影響を効果的に緩和できるか？
• RQ3 提案手法 RMLS が、不均衡で大規模な多ラベルデータセットにおいて、最先端の RBL や LSDR 手法を上回る性能を達成できるか？
• RQ4 希少ラベルの不足と支配的ラベルへの過学習のトレードオフを最適にバランスさせるサンプリング比 α の最適値は何か？
• RQ5 ラベル数が最大50,000に達するデータセットにおいて、提案手法のトレーニング時間およびメモリ使用量のスケーラビリティはどの程度か？

主な発見

• RMLS は、$\text{Enron}$, $\text{Delicious}$, $\text{Eurlex}\_\text{desc}$, $\text{Wiki}$ の4つのベンチマークデータセットすべてで最高のF1スコアを達成し、次善の手法より最大0.05の向上を示した。
• $\text{Eurlex}\_\text{desc}$ データセット（3,993ラベル）では、k=50の条件下でF1スコアが$0.338 \pm 0.008$を達成し、PLST（$0.321 \pm 0.007$）および ML_CSSP（$0.338 \pm 0.008$）を顕著に上回った。
• RMLS のハミング損失は他の手法と比較して一貫して低く、k=50の条件下で$\text{Eurlex}\_\text{desc}}$ で $0.096 \pm 0.007$ を記録し、より高い予測精度を示した。
• RMLS のトレーニング時間は LEML や WSABIE より顕著に短く、ラベル数50,000の $\text{Wiki}$ データセットでは、RMLS が $15,173.62 \pm 74.74$ 秒、LEML が $57,849.32 \pm 523.17$ 秒を要した。
• 最適なサンプリング比 α は約5〜7と特定され、この範囲でF1スコアと正答率がピークに達した後、不関連ラベルの過剰サンプリングによる低下が観察された。
• RMLS は、ラベル不均衡問題を効果的に緩和しており、$\text{Eurlex}\_\text{desc}$ では平均不均衡比が1,378.58に達する中でも、希少ラベルの性能向上が裏付けられた。