[論文レビュー] Synthetic Oversampling of Multi-Label Data based on Local Label Distribution

Bin Liu, Grigorios Tsoumakas|arXiv (Cornell University)|May 2, 2019

Text and Document Classification Technologies参考文献 31被引用数 7

ひとこと要約

本稿では、マイノリティ例の周囲の局所的ラベル分布に注目することで、多様で適切にラベル付けされたインスタンスを生成する、多ラベルデータ向けの新しい合成オーバーサンプリング手法MLSOLを提案する。局所的ラベル特性を活用し、アンサンブルフレームワークと統合することで、複数の評価指標およびベース分類器において、特にアンサンブル設定でMLSMTとRHwRSMTといった最先端手法を上回る性能を顕著に向上させる。

ABSTRACT

Class-imbalance is an inherent characteristic of multi-label data which affects the prediction accuracy of most multi-label learning methods. One efficient strategy to deal with this problem is to employ resampling techniques before training the classifier. Existing multilabel sampling methods alleviate the (global) imbalance of multi-label datasets. However, performance degradation is mainly due to rare subconcepts and overlapping of classes that could be analysed by looking at the local characteristics of the minority examples, rather than the imbalance of the whole dataset. We propose a new method for synthetic oversampling of multi-label data that focuses on local label distribution to generate more diverse and better labeled instances. Experimental results on 13 multi-label datasets demonstrate the effectiveness of the proposed approach in a variety of evaluation measures, particularly in the case of an ensemble of classifiers trained on repeated samples of the original data.

研究の動機と目的

• ラベルの重複やレアサブコンセプトに起因する、グローバルな不均衡とは異なる多ラベルデータセットにおけるクラス不均衡問題に対処すること。
• グローバルなラベル頻度ではなく、局所的ラベル分布に注目することで、オーバーサンプリング段階で生成される合成インスタンスの質と多様性を向上させること。
• 多ラベル学習モデルのロバスト性と正確性を向上させる、柔軟でアンサンブル互換性を持つリサンプリング手法を開発すること。
• 局所的ラベル分布分析が、グローバルまたはラベル別アプローチに比べて、より優れた合成データ生成をもたらすことを示すこと。
• MLSOLの有効性を、多様なデータセット、評価指標、およびベースとなる多ラベル学習アルゴリズムにおいて検証すること。

提案手法

• MLSOLは、局所的ラベル分布に基づいてシードインスタンスを選択し、複雑なラベルサブコンセプトと重複を有するマイノリティ例を優先する。
• 隣接するインスタンスの特徴とラベルを組み合わせることで合成インスタンスを生成し、情報量の多い局所的パターンに重点を置いた重み付きサンプリング戦略を採用する。
• 局所的近傍で出現するラベルを優遇するラベル選択メカニズムを採用することで、合成インスタンスの意味的整合性と多様性を確保する。
• シード選択および合成インスタンス生成時にランダム化を導入することで、モデル多様性を向上させるシンプルなアンサンブルフレームワークと統合する。
• アンサンブル版であるEMLSOLは、繰り返しサンプリングに基づいて訓練された複数のモデルをアグリゲートすることで、分散を低減し汎化性能を向上させる。
• 本手法は任意の多ラベル学習アルゴリズムと互換性があり、既存のパイプラインに即座に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 グローバルまたはラベル別不均衡ではなく、局所的ラベル分布に注目することで、多ラベルデータにおける合成オーバーサンプリングの性能が向上するか？
• RQ2 MLSOLは、MLSMTやRHwRSMTといった既存手法に比べ、より多様で適切にラベル付けされた合成インスタンスを生成できるか？
• RQ3 MLSOLのアンサンブル版（EMLSOL）は、複数の評価指標において、単一モデル版および最先端のベースラインを顕著に上回るか？
• RQ4 クラス不均衡に配慮した評価指標下で、異なるベースとなる多ラベル学習手法と組み合わせた際、MLSOLの性能はいかがなものか？
• RQ5 局所的ラベル分布分析は、レアサブコンセプトやラベルの重複によって引き起こされる性能低下をどれほど緩和できるか？

主な発見

• EMLSOLは、6種類のベース多ラベル手法と3種類の評価指標の全18通りの組み合わせにおいて、平均順位が最良であり、顕著な損失はなく、一貫した優勝を記録した。
• MLSOLは、13のベンチマークデータセットすべてでMLSMTおよびRHwRSMTを上回った。特に、クラス不均衡に敏感なAUC-ROCおよびAUCPRにおいて顕著な優位性を示した。
• MLSOLのアンサンブル版（EMLSOL）は、AUC-ROCで全36回の比較で36勝を記録し、AUCPRでも同様に36勝を達成しており、優れた一貫性のある性能を示した。
• MLSOLとMLSMTは単一モデルでの性能が類似していたが、EMLSOLはシード選択および生成におけるより高いランダム性のおかげで、アンサンブル化による利益を著しく享受した。
• RHwRSMTは、REMEDIALによって導入された紛らわしいインスタンスの影響により、デフォルト（リサンプリングなし）よりも性能が悪化した。これは、リサンプリングにおける複雑な分解処理のリスクを示している。
• 結果から、特にラベルの重複が顕著な複雑なラベル空間において、グローバルまたはラベル別戦略に比べて、局所的ラベル分布が合成オーバーサンプリングの基盤としてより効果的であることが確認された。