[論文レビュー] Multilabel Classification with R Package mlr

Philipp Probst, Quay Au+3 more|arXiv (Cornell University)|Mar 27, 2017

Text and Document Classification Technologies参考文献 32被引用数 7

ひとこと要約

本論文では、Rパッケージmlrにおけるマルチラベル分類アルゴリズムの実装を提示し、問題変換手法（バイナリリレヴァランス、クラスファイアー・チェーン、ネストドスティッキング、従属的バイナリリレヴァランス、スティッキング）およびアルゴリズム適応手法（randomForestSRCおよびrFerns）の標準化された利用を可能にしている。ベンチマークの結果、F1スコアでは従属的バイナリリレヴァランス、サブセット0/1ロスではクラスファイアー・チェーンが最も優れた性能を示し、mlrフレームワーク内での再現性と拡張性が非常に高いことが明らかになった。

ABSTRACT

We implemented several multilabel classification algorithms in the machine learning package mlr. The implemented methods are binary relevance, classifier chains, nested stacking, dependent binary relevance and stacking, which can be used with any base learner that is accessible in mlr. Moreover, there is access to the multilabel classification versions of randomForestSRC and rFerns. All these methods can be easily compared by different implemented multilabel performance measures and resampling methods in the standardized mlr framework. In a benchmark experiment with several multilabel datasets, the performance of the different methods is evaluated.

研究の動機と目的

• mlrフレームワークを用いたRにおけるマルチラベル分類の統合的で標準化されたインターフェースの提供。
• 問題変換法およびアルゴリズム適応法を含む、複数のマルチラベル分類アルゴリズムの実装と統合。
• 多様なマルチラベルデータセットにわたる一貫性のある性能指標とリサンプリング手法を用いた手法比較の実現。
• 多様なマルチラベルラーナーを共通インターフェースでサポートする包括的なRパッケージの不足を解消すること。
• 標準評価指標に基づく複数の手法間での性能ベンチマークと、優れたアプローチの同定。

提案手法

• 問題変換手法を用いて、mlrで利用可能なベースラーナーを用いてマルチラベル問題を二値分類または多値分類問題に変換する。
• バイナリリレヴァランスは、各ラベルごとに独立して1つの二値分類器を学習する。クラスファイアー・チェーンは、各分類器が前のラベルを特徴量として組み込むチェーン構造の二値分類器を学習する。
• ネストドスティッキングおよびスティッキングは、メタラーナーを用いてベースモデルの予測を統合し、一般化性能を向上させる。
• 従属的バイナリリレヴァランスは、ラベル順序の順列を用いてラベル依存性をモデル化することで、バイナリリレヴァランスを拡張したものである。
• randomForestSRCおよびrFernsなどのアルゴリズム適応手法は直接統合され、変換なしにマルチラベル学習が可能になっている。
• すべての手法は、mlrフレームワーク内での標準化された性能指標（例：ハミングロス、F1スコア、サブセット0/1ロス）およびリサンプリング手法を用いて評価されている。

Figure 1: Results for hamming loss and F 1 -index. The best performing algorithms are highlighted on the plot.

実験結果

リサーチクエスチョン

• RQ1 F1スコアおよびハミングロスの観点から、多様なデータセットにおいてどのマルチラベル分類手法が最も優れた性能を示すか？
• RQ2 クラスファイアー・チェーンやネストドスティッキングといった問題変換手法と、randomForestSRCやrFernsといったアルゴリズム適応手法の性能はどのように比較できるか？
• RQ3 ラベル依存性のモデル化が性能に与える影響は何か。特に、従属的バイナリリレヴァランスと標準的なバイナリリレヴァランスの比較から明らかになるか？
• RQ4 ベースラーナーの選択が、mlrフレームワーク内でのマルチラベル分類手法の性能にどのように影響するか？
• RQ5 mlrフレームワークは、標準化された評価を備えた効率的でスケーラブルかつ再現性のあるマルチラベル分類ワークフローをサポートできるか？

主な発見

• 従属的バイナリリレヴァランスは、複数のデータセットにおいてF1スコアおよび正答率の両方で最良の性能を示し、優れたラベル依存性モデル化の有効性を示している。
• クラスファイアー・チェーンは、大多数のケースでサブセット0/1ロスの観点で他の手法を上回り、ラベル集合全体の予測精度に優れていることが示された。
• 最良の手法（STA(rf)）のハミングロスは、birdsデータセットで0.0429であった一方、rFernsのslashdotデータセットでの最悪値は0.4925であり、手法ごとの性能差が顕著に現れた。
• rFernsは一貫して低い性能を示し、birdsデータセットでハミングロス0.4148、slashdotで0.4925を記録した。これは、ランダムな変数選択メカニズムによるものと推測される。
• randomForestSRCは、genbaseおよびlangLogデータセットで優れた性能を示し、ハミングロスがそれぞれ0.0006および0.0466を記録した。これは、低次元でスパースなラベル集合に対して高いロバストネスを示している。
• ベンチマークの結果、ラベルスパarsityが一部のアルゴリズムで交差検証中にクラッシュを引き起こすことが判明し、今後のmlr拡張においてレアラベルの処理改善が求められることが示唆された。

Figure 2: Results for the remaining measures.