[論文レビュー] Automated Multi-Label Classification based on ML-Plan

Marcel Wever, Felix Mohr+1 more|arXiv (Cornell University)|Nov 9, 2018

Advanced Computational Techniques and Applications被引用数 11

ひとこと要約

本稿では、MEKA（WEKAの多ラベル拡張）を用いてML-Planフレームワークを拡張することで、多ラベル分類のための自動機械学習（AutoML）フレームワークであるML²-Planを提案する。再帰的な多ラベル分類器の最適化と、階層的計画に基づく最適なベースラーナーの選択により、ML²-Planは多ラベルデータセットにおいてランダムサーチおよび単一ラベルAutoMLベースラインを著しく上回る性能を発揮する。

ABSTRACT

Automated machine learning (AutoML) has received increasing attention in the recent past. While the main tools for AutoML, such as Auto-WEKA, TPOT, and auto-sklearn, mainly deal with single-label classification and regression, there is very little work on other types of machine learning tasks. In particular, there is almost no work on automating the engineering of machine learning applications for multi-label classification. This paper makes two contributions. First, it discusses the usefulness and feasibility of an AutoML approach for multi-label classification. Second, we show how the scope of ML-Plan, an AutoML-tool for multi-class classification, can be extended towards multi-label classification using MEKA, which is a multi-label extension of the well-known Java library WEKA. The resulting approach recursively refines MEKA's multi-label classifiers, which sometimes nest another multi-label classifier, up to the selection of a single-label base learner provided by WEKA. In our evaluation, we find that the proposed approach yields superb results and performs significantly better than a set of baselines.

研究の動機と目的

• 自動機械学習分野における成長著しいが、まだ十分に研究が進んでいない多ラベル分類（MLC）のための専用AutoMLツールの不足に応えること。
• MLCをフラットな最適化問題として扱う既存のAutoMLツールの限界を乗り越えるために、再帰的かつ階層的なパイプライン構築を活用すること。
• 深くネストされたパイプライン構造をサポートする計画ベースのアプローチにより、インスタンス固有の多ラベル分類器の選択と構成を自動化すること。
• ランダムサーチや単一ラベルAutoMLツール（例：Auto-WEKA）といったベースラインと比較して、専用のAutoMLフレームワークが多ラベル分類において実現可能で優れた性能を発揮することを実証すること。
• MEKAの多ラベル学習機能と統合された階層的タスクネットワーク計画を用いることで、複雑なMLCパイプラインの構成に対してスケーラブルで効果的なソリューションを提供すること。

提案手法

• プログラム的タスクネットワーク計画（HTN計画の派生形）に基づくAutoMLフレームワークであるML-Planを、多ラベル分類パイプラインの再帰的・階層的構成をサポートするように変更する。
• 多ラベル分類器の実行と評価にMEKAを基盤として用い、WEKAが提供する単一ラベルラーナーの広範なライブラリとの統合を可能にする。
• 探索プロセスを再帰的精錬として構造化する：まず多ラベルメタラーナーを選び、必要に応じて別の多ラベル分類器でそれを精錬し、最終的に二値分類用の単一ラベルベースラーナーを選択する。
• ML-Planが既に備えている優先順位付けと探索戦略を活用し、パラメータチューニングやアルゴリズム選択を含む複雑なMLC探索空間の探索を導く。
• 固定タイムアウト内での階層的構成空間の効率的探索のため、ベイズ最適化およびSMACに類似した手法を適用する。
• 各パイプライン構成が、標準的なMLC性能指標（例：F1、ハミング損失）を用いて、ターゲットデータセット上で実行され評価されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 階層的・計画ベースのAutoMLアプローチは、多ラベル分類パイプラインの構成を効果的に自動化できるか？
• RQ2 ML²-Planは、ランダムサーチや単一ラベルAutoMLツール（例：Auto-WEKA）といった既存のベースラインを、多ラベル分類タスクにおいて上回ることができるか？
• RQ3 多ラベル分類器の再帰的・ネストされた構造は、フラット最適化と比較して、階層的計画によってどの程度の恩恵を受けるか？
• RQ4 ML²-Planの構成において、選択された多ラベル分類器とベースラーナーはどれほど多様であるか？また、特定の分類器やラーナーが優勢であるか？
• RQ5 ML²-Planのスケーラビリティの限界は何か？今後の研究では、サービス指向アーキテクチャやアンサンブル手法を用いてそれらをどのように克服できるか？

主な発見

• ML²-Planは、ランダムサーチおよび多ラベル問題を二値関連性に還元するベースライン（Auto-WEKAを用いたもの）を著しく上回り、専用のMLC AutoMLフレームワークの価値を実証している。
• フレームワークは多様な多ラベル分類器を効果的に構成しており、すべてのデータセットで同一の分類器が優勢になることはなく、インスタンス固有のパイプライン選択が成功していることを示している。
• ランダムツリーおよびナイーブベイズ多項分布型といったベースラーナーが頻繁に選ばれたが、これは主にML-Planの探索順序における優先順位によるものであり、本質的な優位性によるものではない。
• 一部のベースラーナーが選ばれなかったのは、十分な探索時間が割り当てられていなかったためである—優先度が低いラーナーはタイムアウト前に評価されなかったため、スケーラビリティの限界が顕在化した。
• ML²-Planの再帰的・階層的構造により、フラットな構成よりもデータセット固有の特性に適応できる複雑でネストされたパイプラインが構築可能である。
• 結果から、多ラベル分類パイプラインはインスタンス固有の最適化によって恩恵を受けることが確認され、すべてのデータセットで一貫して優位な分類器やベースラーナーが存在しないことが示された。